Discrimina.ve ¡models ¡ Neural ¡networks ¡ Nearest ¡neighbor ¡ 10 6 examples LeCun, ¡Bobou, ¡Bengio, ¡Haffner ¡1998 ¡ Shakhnarovich, ¡Viola, ¡Darrell ¡2003 ¡ Rowley, ¡Baluja, ¡Kanade ¡1998 ¡ Berg, ¡Berg, ¡Malik ¡2005... ¡ … ¡ ¡ ¡ Latent ¡SVM ¡ Support ¡Vector ¡Machines ¡ Boos*ng ¡ Structural ¡ ¡SVM ¡ Guyon, ¡Vapnik, ¡ ¡Heisele, ¡ Viola, ¡Jones ¡2001, ¡ Serre, ¡Poggio… ¡ Felzenszwalb 00 Torralba ¡et ¡al. ¡2004, ¡ ¡ Ramanan 03 … ¡ Opelt ¡et ¡al. ¡2006,… ¡ ¡ Source: ¡Viborio ¡Ferrari, ¡Kristen ¡Grauman, ¡Antonio ¡Torralba ¡ 38 ¡ 8-‑Apr-‑13 ¡ Fei-Fei Li � Lecture 2 - � �
Genera.ve ¡models ¡ • Modeling ¡the ¡likelihood ¡ra.o: ¡ ¡ p ( image | zebra ) p ( image | no zebra ) 39 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Genera.ve ¡models ¡ p ( image | zebra ) p ( image | no zebra ) High ¡ Low ¡ Low ¡ ¡ High ¡ 40 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � �
Genera.ve ¡models Naïve ¡Bayes ¡classifier ¡ • Csurka ¡Bray, ¡Dance ¡& ¡Fan, ¡2004 ¡ – Hierarchical ¡Bayesian ¡topic ¡models ¡ ¡(e.g. ¡pLSA ¡ • and ¡LDA) ¡ Object ¡categoriza.on: ¡Sivic ¡et ¡al. ¡2005, ¡Sudderth ¡et ¡al. ¡2005 ¡ – Natural ¡scene ¡categoriza.on: ¡Fei-‑Fei ¡et ¡al. ¡2005 ¡ – ¡ 2D ¡Part ¡based ¡models ¡ • -‑ Constella.on ¡models: ¡Weber ¡et ¡al ¡2000; ¡Fergus ¡et ¡al ¡200 ¡ -‑ Star ¡models: ¡ ISM (Leibe et al 05) 3D ¡part ¡based ¡models: ¡ ¡ • ¡-‑ ¡mul.-‑aspects: ¡Sun, ¡et ¡al, ¡2009 ¡ ¡ 41 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Basic ¡issues ¡ • Representa.on ¡ – How ¡to ¡represent ¡an ¡object ¡category; ¡which ¡ classifica.on ¡scheme? ¡ ¡ • Learning ¡ – How ¡to ¡learn ¡the ¡classifier, ¡given ¡training ¡data ¡ ¡ • Recogni.on ¡ – How ¡the ¡classifier ¡is ¡to ¡be ¡used ¡on ¡novel ¡data ¡ 42 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Learning ¡ • Learning ¡parameters: ¡What ¡are ¡you ¡maximizing? ¡ Likelihood ¡(Gen.) ¡or ¡performances ¡on ¡train/ valida.on ¡set ¡(Disc.) ¡ ¡ 43 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Learning ¡ • Learning ¡parameters: ¡What ¡are ¡you ¡maximizing? ¡ Likelihood ¡(Gen.) ¡or ¡performances ¡on ¡train/ valida.on ¡set ¡(Disc.) ¡ ¡ • Level ¡of ¡supervision ¡ • Manual ¡segmenta.on; ¡bounding ¡box; ¡image ¡labels; ¡ noisy ¡labels ¡ • ¡ ¡Batch/incremental ¡ ¡ • ¡ ¡Priors ¡ 44 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Learning ¡ • Learning ¡parameters: ¡What ¡are ¡you ¡maximizing? ¡ Likelihood ¡(Gen.) ¡or ¡performances ¡on ¡train/ valida.on ¡set ¡(Disc.) ¡ ¡ • Level ¡of ¡supervision ¡ • Manual ¡segmenta.on; ¡bounding ¡box; ¡image ¡labels; ¡ noisy ¡labels ¡ • ¡ ¡Batch/incremental ¡ ¡ • ¡ ¡Priors ¡ • ¡Training ¡images: ¡ • Issue ¡of ¡overfiqng ¡ • Nega.ve ¡images ¡for ¡ discrimina.ve ¡methods ¡ 45 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Basic ¡issues ¡ • Representa.on ¡ – How ¡to ¡represent ¡an ¡object ¡category; ¡which ¡ classifica.on ¡scheme? ¡ ¡ • Learning ¡ – How ¡to ¡learn ¡the ¡classifier, ¡given ¡training ¡data ¡ ¡ • Recogni.on ¡ – How ¡the ¡classifier ¡is ¡to ¡be ¡used ¡on ¡novel ¡data ¡ 46 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Recogni*on ¡ – Recogni.on ¡task: ¡classifica.on, ¡detec.on, ¡etc.. ¡ ¡ 47 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Recogni*on ¡ – Recogni.on ¡task ¡ – Search ¡strategy: ¡Sliding ¡Windows ¡ Viola, ¡Jones ¡2001, ¡ ¡ • Simple ¡ • Computa.onal ¡complexity ¡(x,y, ¡S, ¡ θ , ¡N ¡of ¡classes) ¡ ¡-‑ ¡BSW ¡by ¡Lampert ¡et ¡al ¡08 ¡ -‑ ¡Also, ¡Alexe, ¡et ¡al ¡10 ¡ ¡ ¡ ¡ ¡ 48 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Recogni*on ¡ – Recogni.on ¡task ¡ – Search ¡strategy: ¡Sliding ¡Windows ¡ Viola, ¡Jones ¡2001, ¡ ¡ • Simple ¡ • Computa.onal ¡complexity ¡(x,y, ¡S, ¡ θ , ¡N ¡of ¡classes) ¡ ¡-‑ ¡BSW ¡by ¡Lampert ¡et ¡al ¡08 ¡ -‑ ¡Also, ¡Alexe, ¡et ¡al ¡10 ¡ • Localiza.on ¡ • Objects ¡are ¡not ¡boxes ¡ ¡ ¡ ¡ ¡ 49 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Recogni*on ¡ – Recogni.on ¡task ¡ – Search ¡strategy: ¡Sliding ¡Windows ¡ Viola, ¡Jones ¡2001, ¡ ¡ • Simple ¡ • Computa.onal ¡complexity ¡(x,y, ¡S, ¡ θ , ¡N ¡of ¡classes) ¡ ¡-‑ ¡BSW ¡by ¡Lampert ¡et ¡al ¡08 ¡ -‑ ¡Also, ¡Alexe, ¡et ¡al ¡10 ¡ • Localiza.on ¡ • Objects ¡are ¡not ¡boxes ¡ • Prone ¡to ¡false ¡posi.ve ¡ ¡ ¡ ¡ Non ¡max ¡suppression: ¡ ¡ ¡ Canny ¡’86 ¡ …. ¡ Desai ¡et ¡al ¡, ¡2009 ¡ 50 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Successful ¡methods ¡using ¡sliding ¡ windows ¡ • ¡Subdivide ¡scanning ¡window ¡ ¡ • In ¡each ¡cell ¡compute ¡histogram ¡of ¡gradients ¡ orienta.on. ¡ Code ¡available: ¡hbp://pascal.inrialpes.fr/sos/olt/ ¡ [Dalal ¡& ¡Triggs, ¡CVPR ¡2005] ¡ -‑ ¡Subdivide ¡scanning ¡window ¡ ¡ -‑ ¡In ¡each ¡cell ¡compute ¡histogram ¡of ¡ codewords ¡of ¡adjacent ¡segments ¡ Code ¡available: ¡hbp://www.vision.ee.ethz.ch/~calvin ¡ [Ferrari ¡& ¡al, ¡PAMI ¡2008] ¡ 51 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Recogni*on ¡ – Recogni.on ¡task ¡ – Search ¡strategy ¡: ¡Probabilis.c ¡“heat ¡maps” ¡ • ¡Fergus ¡et ¡al ¡03 ¡ • ¡Leibe ¡et ¡al ¡04 ¡ Matched ¡patches ¡ Interest ¡ Original ¡ 52 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � points ¡ image ¡ �
Recogni*on ¡ – Recogni.on ¡task ¡ – Search ¡strategy ¡: ¡ ¡ • Hypothesis ¡genera.on ¡+ ¡verifica.on ¡ ¡ 53 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Recogni*on ¡ • Savarese, ¡2007 ¡ ¡ – Recogni.on ¡task ¡ • Sun ¡et ¡al ¡2009 ¡ • ¡Liebelt ¡et ¡al., ¡’08, ¡10 ¡ – Search ¡strategy ¡ • Farhadi ¡et ¡al ¡09 ¡ – Abributes ¡ Category: ¡ ¡car ¡ Azimuth ¡= ¡225º ¡ Zenith ¡= ¡30 º ¡ -‑ ¡It ¡has ¡metal ¡ -‑ ¡it ¡is ¡glossy ¡ -‑ ¡has ¡wheels ¡ • Farhadi ¡et ¡al ¡09 ¡ ¡ • ¡Lampert ¡ ¡et ¡al ¡09 ¡ • ¡Wang ¡& ¡Forsyth ¡09 ¡ ¡ 54 ¡ 8-‑Apr-‑13 ¡ Fei-Fei Li � Lecture 2 - � �
Recogni*on ¡ – Recogni.on ¡task ¡ – Search ¡strategy ¡ – Abributes ¡ – Context ¡ Seman*c: ¡ • Torralba ¡et ¡al ¡03 ¡ • ¡Rabinovich ¡et ¡al ¡07 ¡ • ¡Gupta ¡& ¡Davis ¡08 ¡ • ¡Heitz ¡& ¡Koller ¡08 ¡ • ¡L-‑J ¡Li ¡et ¡al ¡08 ¡ • ¡Yao ¡& ¡Fei-‑Fei ¡10 ¡ ¡ Geometric ¡ • ¡ Hoiem, ¡et ¡al ¡ ¡06 ¡ • ¡Gould ¡et ¡al ¡09 ¡ • ¡Bao, ¡Sun, ¡Savarese ¡10 ¡ 55 ¡ 8-‑Apr-‑13 ¡ Fei-Fei Li � Lecture 2 - � �
Basic ¡issues ¡ • Representa.on ¡ – How ¡to ¡represent ¡an ¡object ¡category; ¡which ¡ classifica.on ¡scheme? ¡ ¡ • Learning ¡ – How ¡to ¡learn ¡the ¡classifier, ¡given ¡training ¡data ¡ ¡ • Recogni.on ¡ – How ¡the ¡classifier ¡is ¡to ¡be ¡used ¡on ¡novel ¡data ¡ 56 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
What ¡we ¡will ¡learn ¡today? ¡ • Visual ¡recogni.on ¡overview ¡ – Representa.on ¡ – Learning ¡ – Recogni.on ¡ • Implicit ¡Shape ¡Model ¡ – Representa.on ¡ – Recogni.on ¡ – Experiments ¡and ¡results ¡ ¡ 57 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Implicit ¡Shape ¡Model ¡(ISM) ¡ • Basic ¡ideas ¡ x 1 – Learn ¡an ¡appearance ¡codebook ¡ x 6 x 2 – Learn ¡a ¡star-‑topology ¡structural ¡model ¡ x 5 x 3 x 4 • Features ¡are ¡considered ¡independent ¡given ¡obj. ¡center ¡ • Algorithm: ¡probabilis.c ¡Gen. ¡Hough ¡Transform ¡ – Exact ¡correspondences ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ → ¡ ¡Prob. ¡match ¡to ¡object ¡part ¡ – NN ¡matching ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ → ¡ ¡Sos ¡matching ¡ – Feature ¡loca.on ¡on ¡obj. ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ → ¡ ¡ ¡Part ¡loca.on ¡distribu.on ¡ – Uniform ¡votes ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ → ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Probabilis.c ¡vote ¡weigh.ng ¡ – Quan.zed ¡Hough ¡array ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ → ¡ ¡ ¡ ¡ ¡ ¡ ¡Con.nuous ¡Hough ¡space ¡ Source: ¡Bas.an ¡Leibe ¡ 58 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Implicit ¡Shape ¡Model: ¡Basic ¡Idea ¡ • Visual ¡vocabulary ¡is ¡used ¡to ¡index ¡votes ¡for ¡object ¡ posi.on ¡[a ¡visual ¡word ¡= ¡“part”]. ¡ Visual ¡codeword ¡with ¡ displacement ¡vectors ¡ Training ¡image ¡ B. ¡Leibe, ¡A. ¡Leonardis, ¡and ¡B. ¡Schiele, ¡ Robust ¡Object ¡Detec.on ¡with ¡Interleaved ¡Categoriza.on ¡and ¡Segmenta.on, ¡Interna.onal ¡Journal ¡of ¡ Source: ¡Bas.an ¡Leibe ¡ Computer ¡Vision, ¡Vol. ¡77(1-‑3), ¡2008. ¡ 59 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Implicit ¡Shape ¡Model: ¡Basic ¡Idea ¡ • Objects ¡are ¡detected ¡as ¡consistent ¡configura.ons ¡of ¡ the ¡observed ¡parts ¡(visual ¡words). ¡ Test ¡image ¡ B. ¡Leibe, ¡A. ¡Leonardis, ¡and ¡B. ¡Schiele, ¡ Robust ¡Object ¡Detec.on ¡with ¡Interleaved ¡Categoriza.on ¡and ¡Segmenta.on, ¡Interna.onal ¡Journal ¡of ¡ Source: ¡Bas.an ¡Leibe ¡ Computer ¡Vision, ¡Vol. ¡77(1-‑3), ¡2008. ¡ 60 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Implicit ¡Shape ¡Model ¡-‑ ¡Representa.on ¡ … … … … Training images (+reference segmentation) … Appearance codebook y y Learn ¡appearance ¡codebook ¡ • – Extract ¡local ¡features ¡at ¡interest ¡points ¡ – Agglomera.ve ¡clustering ¡ ⇒ ¡codebook ¡ s s x x y y Learn ¡spa.al ¡distribu.ons ¡ • – Match ¡codebook ¡to ¡training ¡images ¡ – Record ¡matching ¡posi.ons ¡on ¡object ¡ s s x x Spatial occurrence distributions Source: ¡Bas.an ¡Leibe ¡ + local figure-ground labels 61 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Implicit ¡Shape ¡Model ¡-‑ ¡Recogni.on ¡ Matched Codebook Probabilistic Interest Points Entries Voting y Object Interpretation Image Feature [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] Position (Codebook match) s x 3D Voting Space (continuous) f o,x C i p ( C f ) p ( o , x C , ) i n i Probabilistic vote weighting (will be explained later in detail) 62 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Implicit ¡Shape ¡Model ¡-‑ ¡Recogni.on ¡ Matched Codebook Probabilistic Interest Points Entries Voting y [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] s x 3D Voting Space (continuous) Backprojected Backprojection Hypotheses of Maxima 63 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Example: ¡Results ¡on ¡Cows ¡ Original image Source: ¡Bas.an ¡Leibe ¡ 64 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Example: ¡Results ¡on ¡Cows ¡ Interest points Original image Source: ¡Bas.an ¡Leibe ¡ 65 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Example: ¡Results ¡on ¡Cows ¡ Interest points Original image Matched patches Source: ¡Bas.an ¡Leibe ¡ 66 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Example: ¡Results ¡on ¡Cows ¡ Prob. Votes Source: ¡Bas.an ¡Leibe ¡ 67 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Example: ¡Results ¡on ¡Cows ¡ Prob. Votes Source: ¡Bas.an ¡Leibe ¡ 68 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Example: ¡Results ¡on ¡Cows ¡ Source: ¡K. ¡Grauman ¡& ¡B. ¡Leibe ¡ 1 st hypothesis 69 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Example: ¡Results ¡on ¡Cows ¡ 2 nd hypothesis Source: ¡Bas.an ¡Leibe ¡ 70 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Example: ¡Results ¡on ¡Cows ¡ 3 rd hypothesis Source: ¡Bas.an ¡Leibe ¡ 71 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Scale ¡Invariant ¡Vo.ng ¡ • Scale-‑invariant ¡feature ¡selec.on ¡ – Scale-‑invariant ¡interest ¡points ¡ – Rescale ¡extracted ¡patches ¡ – Match ¡to ¡constant-‑size ¡codebook ¡ • Generate ¡scale ¡votes ¡ – Scale ¡as ¡3 rd ¡dimension ¡in ¡vo.ng ¡space ¡ s Search window – Search ¡for ¡maxima ¡in ¡3D ¡vo.ng ¡space ¡ y x Source: ¡Bas.an ¡Leibe ¡ 72 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Scale ¡Vo.ng: ¡Efficient ¡Computa.on ¡ s s s s y y y y x x x x Binned Scale votes Candidate Refinement accum. array maxima (Mean-Shift) • Con.nuous ¡Generalized ¡Hough ¡Transform ¡ Ø Binned ¡accumulator ¡array ¡similar ¡to ¡standard ¡Gen. ¡Hough ¡Transf. ¡ Ø Quickly ¡iden.fy ¡candidate ¡maxima ¡loca.ons ¡ Ø Refine ¡loca.ons ¡by ¡Mean-‑Shis ¡search ¡only ¡around ¡those ¡points ¡ ⇒ ¡Avoid ¡quan.za.on ¡effects ¡by ¡keeping ¡exact ¡vote ¡loca.ons. ¡ ⇒ ¡Mean-‑shis ¡interpreta.on ¡as ¡kernel ¡prob. ¡density ¡es.ma.on. ¡ Source: ¡Bas.an ¡Leibe ¡ 73 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Scale ¡Vo.ng: ¡Efficient ¡Computa.on ¡ s s s s y y y y x x x x Binned Scale votes Candidate Refinement accum. array maxima (Mean-Shift) • Scale-‑adap.ve ¡Mean-‑Shis ¡search ¡for ¡refinement ¡ – Increase ¡search ¡window ¡size ¡with ¡hypothesis ¡scale ¡ – Scale-‑adap.ve ¡ balloon ¡density ¡es-mator ¡ Source: ¡Bas.an ¡Leibe ¡ 74 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Detec.on ¡Results ¡ • Qualita.ve ¡Performance ¡ – Recognizes ¡different ¡kinds ¡of ¡objects ¡ – Robust ¡to ¡cluber, ¡occlusion, ¡noise, ¡low ¡contrast ¡ Source: ¡Bas.an ¡Leibe ¡ 75 ¡ Lecture 2 - � �
Figure-‑Ground ¡Segrega.on ¡ • What ¡happens ¡first ¡– ¡segmenta.on ¡or ¡recogni.on? ¡ • Problem ¡extensively ¡studied ¡in ¡ ¡ Psychophysics ¡ • Experiments ¡with ¡ambiguous ¡ figure-‑ground ¡s.muli ¡ • Results: ¡ – Evidence ¡that ¡object ¡recogni.on ¡can ¡ and ¡does ¡operate ¡before ¡figure-‑ground ¡ ¡ organiza.on ¡ – Interpreted ¡as ¡Gestalt ¡cue ¡ familiarity . ¡ M.A. Peterson, “Object Recognition Processes Can and Do Operate Before Figure- Ground Organization”, Cur. Dir. in Psych. Sc. , 3:105-111, 1994. 76 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
ISM ¡– ¡Top-‑Down ¡Segmenta.on ¡ Matched Codebook Probabilistic Interest Points Entries Voting y s x 3D Voting Space Segmentation (continuous) p(figure) Backprojected Backprojection Probabilities Hypotheses of Maxima [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] 77 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Top-‑Down ¡Segmenta.on: ¡Mo.va.on ¡ • Secondary ¡hypotheses ¡(“mixtures ¡of ¡cars/cows/etc.”) ¡ – Desired ¡property ¡of ¡algorithm! ¡ ¡ ⇒ ¡robustness ¡to ¡occlusion ¡ – Standard ¡solu.on: ¡reject ¡based ¡on ¡bounding ¡box ¡overlap ¡ ¡ ⇒ ¡Problema.c ¡-‑ ¡may ¡lead ¡to ¡missing ¡detec.ons! ¡ ¡ ¡ ¡ ¡ ⇒ ¡Use ¡segmenta.ons ¡to ¡resolve ¡ambigui.es ¡instead. ¡ ¡ – Basic ¡idea: ¡each ¡observed ¡pixel ¡can ¡only ¡be ¡explained ¡by ¡ ¡ (at ¡most) ¡one ¡detec.on. ¡ Source: ¡Bas.an ¡Leibe ¡ 78 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Top-‑Down ¡Segmenta.on: ¡Mo.va.on ¡ • Secondary ¡hypotheses ¡(“mixtures ¡of ¡cars/cows/etc.”) ¡ – Desired ¡property ¡of ¡algorithm! ¡ ¡ ⇒ ¡robustness ¡to ¡occlusion ¡ – Standard ¡solu.on: ¡reject ¡based ¡on ¡bounding ¡box ¡overlap ¡ ¡ ⇒ ¡Problema.c ¡-‑ ¡may ¡lead ¡to ¡missing ¡detec.ons! ¡ ¡ ¡ ¡ ¡ ⇒ ¡Use ¡segmenta.ons ¡to ¡resolve ¡ambigui.es ¡instead. ¡ ¡ – Basic ¡idea: ¡each ¡observed ¡pixel ¡can ¡only ¡be ¡explained ¡by ¡ ¡ (at ¡most) ¡one ¡detec.on. ¡ Source: ¡Bas.an ¡Leibe ¡ 79 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Segmenta.on: ¡Probabilis.c ¡Formula.on ¡ • Influence ¡of ¡patch ¡on ¡object ¡hypothesis ¡(vote ¡weight) ¡ ( ) ( ) ( ) p o , x | C p C | f p f, ∑ n i i ( ) p f , o , x i = n ( ) p o , x n • ¡ ¡Backprojec*on ¡to ¡features ¡ f ¡and ¡pixels ¡p: ¡ ( ) ( ) ( ) p p figure | o , x p p figure | f , , o , x p f , | o , x ∑ = = = n n n p ( f , ) ∈ Segmentation Influence on information object hypothesis [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] 80 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Segmenta.on ¡ p(figure) [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] Original image Segmentation p(figure) p(ground) p(ground) • Interpreta.on ¡of ¡ p(figure) ¡map ¡ Ø per-‑pixel ¡confidence ¡in ¡object ¡hypothesis ¡ Ø Use ¡for ¡hypothesis ¡verifica.on ¡ 81 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Deriva.on: ¡ISM ¡Recogni.on ¡ • Algorithm ¡stages ¡ 1. Vo.ng ¡ 2. Mean-‑shis ¡search ¡ Backprojec.on ¡ 3. [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] • Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡ f ¡ Image Feature f Codebook matches Object location at location � o n ,x f C i p ( C f ) p ( o , x C , ) i n i Matching Occurrence probability distribution 82 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Deriva.on: ¡ISM ¡Recogni.on ¡ • Algorithm ¡stages ¡ 1. Vo.ng ¡ 2. Mean-‑shis ¡search ¡ Backprojec.on ¡ 3. • Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡ f ¡ [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] Probability ¡that ¡object ¡ o n ¡occurs ¡at ¡loca.on ¡ x ¡given ¡ ( f, ) Ø l p o x f ( , , ) p ( C f ) p ( o , x C , ) = ∑ i n n i i Matching Occurrence probability distribution p ( C f ) p ( o , x C , ) i n i Matching Occurrence probability distribution 83 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Deriva.on: ¡ISM ¡Recogni.on ¡ • Algorithm ¡stages ¡ 1. Vo.ng ¡ 2. Mean-‑shis ¡search ¡ Backprojec.on ¡ 3. • Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡ f ¡ [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] Probability ¡that ¡object ¡ o n ¡occurs ¡at ¡loca.on ¡ x ¡given ¡ ( f, ) Ø l p o x f ( , , ) p ( C f ) p ( o , x C , ) = ∑ ¡ i n n i i How ¡to ¡measure ¡those ¡probabili.es? ¡ Ø ¡ θ f 1 p C f ( ) , where C C d C f | ( , ) { } = = ≤ θ i i i | C | 1 l Activated p o x C ( , , ) = n i # occurrences C ( ) codebook entries i 84 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Deriva.on: ¡ISM ¡Recogni.on ¡ • Algorithm ¡stages ¡ 1. Vo.ng ¡ 2. Mean-‑shis ¡search ¡ Backprojec.on ¡ 3. • Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡ f ¡ [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] Probability ¡that ¡object ¡ o n ¡occurs ¡at ¡loca.on ¡ x ¡given ¡ ( f, ) Ø l p o x f ( , , ) p ( C f ) p ( o , x C , ) = ∑ i n n i i Likelihood ¡of ¡the ¡observed ¡features ¡given ¡the ¡object ¡hypothesis ¡ Ø l l p o x C , | , p C | f p f, l l ( ) ( ) ( ) p o x f, , | p f, = ∑ ( ) ( ) n i i n l p f, | o x , i ( ) = n p o x , p o x , ( ) ( ) n n p f, l : Indicator variable for p o x : Prior for the object location , ( ) ( ) n sampled features 85 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Deriva.on: ¡ISM ¡Recogni.on ¡ • Algorithm ¡stages ¡ 1. Vo.ng ¡ 2. Mean-‑shis ¡search ¡ Backprojec.on ¡ 3. • Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡ f ¡ [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] l l l l p o x C , | , p C | f p f, p o x f, , | p f, = ∑ ( ) ( ) ( ) ( ) ( ) n i i n l p f, | o x , i ( ) = n p o x , p o x , ( ) ( ) n n l l p o x C , | , p C | f p f, l l ( ) ( ) ( ) p o x f, , | p f, = ∑ ( ) ( ) n i i n l p f, | o x , i ( ) = n p o x , p o x , ( ) ( ) n n 86 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Deriva.on: ¡ISM ¡Recogni.on ¡ • Algorithm ¡stages ¡ 1. Vo.ng ¡ 2. Mean-‑shis ¡search ¡ Backprojec.on ¡ 3. • Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡ f ¡ [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] l l l l p o x C , | , p C | f p f, p o x f, , | p f, = ∑ ( ) ( ) ( ) ( ) ( ) n i i n l p f, | o x , i ( ) = n p o x , p o x , ( ) ( ) n n 87 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Deriva.on: ¡ISM ¡Recogni.on ¡ • Algorithm ¡stages ¡ y 1. Vo.ng ¡ s 2. Mean-‑shis ¡search ¡ x Backprojec.on ¡ 3. [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] • Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡ f ¡ l l l l p o x C , | , p C | f p f, = ∑ ( ) ( ) ( ) p o x f, , | p f, ( ) ( ) n i i l n p f, | o x , i ( ) = n p o x , p o x , ( ) ( ) n n 88 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Deriva.on: ¡ISM ¡Top-‑Down ¡Segmenta.on ¡ • Algorithm ¡stages ¡ 1. Vo.ng ¡ 2. Mean-‑shis ¡search ¡ Backprojec.on ¡ 3. • Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡ f ¡ [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] l l p o x C , | , p C | f p f, l l ( ) ( ) ( ) p o x f, , | p f, = ∑ ( ) ( ) n i i l n p f, | o x , i ( ) = n p o x , p o x , ( ) ( ) n n • Figure-‑ground ¡backprojec.on ¡ ) ( ) ( ) ( ) p o , x | C , p C | f p f, ( ( ) = p p fig. | o , x , C , n i i p p figure | o , x , f , C ∑ ∑ , = = = n i n i ( ) p o , x p ( f, ) i n ∈ Fig./Gnd. label Influence on for each occurrence object hypothesis 89 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Deriva.on: ¡ISM ¡Top-‑Down ¡Segmenta.on ¡ • Algorithm ¡stages ¡ 1. Vo.ng ¡ 2. Mean-‑shis ¡search ¡ Backprojec.on ¡ 3. • Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡ f ¡ [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] l l p o x C , | , p C | f p f, l l ( ) ( ) ( ) p o x f, , | p f, = ∑ ( ) ( ) n i i l n p f, | o x , i ( ) = n p o x , p o x , ( ) ( ) n n • Figure-‑ground ¡backprojec.on ¡ ) ( ) ( ) ( ) p o , x | C , p C | f p f, ) ∑ p ( p figure | o , x , f , ( p p fig. | o , x , C , n i i ∑ ∑ = = = = n n i ( ) p o , x p ( f, ) i i n ∈ Marginalize over Fig./Gnd. label Influence on all codebook entries for each occurrence object hypothesis matched to f 90 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Deriva.on: ¡ISM ¡Top-‑Down ¡Segmenta.on ¡ • Algorithm ¡stages ¡ 1. Vo.ng ¡ 2. Mean-‑shis ¡search ¡ Backprojec.on ¡ 3. • Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡ f ¡ [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] l l p o x C , | , p C | f p f, l l ( ) ( ) ( ) p o x f, , | p f, = ∑ ( ) ( ) n i i l n p f, | o x , i ( ) = n p o x , p o x , ( ) ( ) n n • Figure-‑ground ¡backprojec.on ¡ ) ( ) ( ) ( ) p o , x | C , p C | f p f, ( ) ( p p figure | o n x , p p fig. | o , x , C , n i i ∑ ∑ ∑ ∑ = = = = n i ( ) p o , x p ( f, ) i p ( f , ) i n ∈ ∈ Marginalize over Fig./Gnd. label Influence on all features contai- for each occurrence object hypothesis ning pixel p 91 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Top-‑Down ¡Segmenta.on ¡Algorithm ¡ [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] • This ¡may ¡sound ¡quite ¡complicated, ¡but ¡it ¡boils ¡down ¡to ¡a ¡ very ¡simple ¡algorithm… ¡ 92 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Example ¡Results: ¡Motorbikes ¡ [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] 93 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Example ¡Results: ¡Cows ¡ • Training ¡ – 112 ¡hand-‑segmented ¡images ¡ • Results ¡on ¡novel ¡sequences: ¡ [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] Single-‑frame ¡recogni.on ¡-‑ ¡No ¡temporal ¡con.nuity ¡used! ¡ 94 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Example ¡Results: ¡Chairs ¡ Dining room chairs Office chairs Source: ¡Bas.an ¡Leibe ¡ 95 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Detec.ons ¡Using ¡Ground ¡Plane ¡Constraints ¡ left camera 1175 frames Battery of 5 ISM detectors [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08] for different car views 96 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Inferring ¡Other ¡Informa.on: ¡Part ¡Labels ¡(1) ¡ [Thomas, Ferrari, Tuytelaars, Leibe, Van Gool, 3DRR’07; RSS’08] Training ¡ Test ¡ Output ¡ 97 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Inferring ¡Other ¡Informa.on: ¡Part ¡Labels ¡(2) ¡ [Thomas, Ferrari, Tuytelaars, Leibe, Van Gool, 3DRR’07; RSS’08] 98 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Inferring ¡Other ¡Informa.on: ¡Depth ¡Maps ¡ [Thomas, Ferrari, Tuytelaars, Leibe, Van Gool, 3DRR’07; RSS’08] “Depth from a single image” 99 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Extension: ¡Es.ma.ng ¡Ar.cula.on ¡ • Try ¡to ¡fit ¡silhouebe ¡to ¡detected ¡person ¡ • Basic ¡idea ¡ – Search ¡for ¡the ¡silhouebe ¡that ¡simultaneously ¡op.mizes ¡the ¡ • Chamfer ¡match ¡to ¡the ¡distance-‑transformed ¡edge ¡image ¡ • Overlap ¡with ¡the ¡top-‑down ¡segmenta.on ¡ – Enforces ¡global ¡consistency ¡ – Caveat: ¡introduces ¡again ¡reliance ¡on ¡global ¡model ¡ [Leibe, Seemann, Schiele, CVPR’05] 100 ¡ 8-‑Apr-‑13 ¡ Lecture 2 - � Fei-Fei Li � �
Recommend
More recommend
