Agenda 8:30 Classifica1on&localiza1on 9:50 - PowerPoint PPT Presentation

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Large ¡Scale ¡Visual ¡ Recogni1on ¡Challenge ¡(ILSVRC) ¡2013: ¡ Object ¡Detec)on ¡ Fei-­‑Fei ¡Li ¡ Jia ¡Deng ¡ ¡ Alexander ¡Berg ¡ Olga ¡Russakovsky ¡ Jonathan ¡Krause ¡ (Stanford ¡U.) ¡ (U. ¡of ¡Michigan) ¡ (UNC ¡Chapel ¡Hill) ¡ (Stanford ¡U.) ¡ (Stanford ¡U.) ¡

Agenda ¡ 8:30 ¡ ¡ Classifica1on&localiza1on ¡ ¡ ¡ ¡ 9:50 ¡ Spotlights ¡ 9:35 ¡ 8:50 ¡ 9:20 ¡ 9:05 ¡ ¡ 10:30 ¡ Detec1on ¡ ¡ ¡ ¡ Spotlights ¡ 11:10 ¡ 11:30 ¡ 11:40 ¡ 10:50 ¡ ¡ Noon ¡Discussion ¡panel ¡ ¡ ¡ 14:00 ¡ Invited ¡talk ¡by ¡ViUorio ¡Ferrari: ¡ ¡ ¡ Auto-­‑annota)on ¡and ¡self-­‑assessment ¡in ¡ImageNet ¡ ¡ 14:40 ¡ Fine-­‑Grained ¡Challenge ¡2013 ¡ hUp://www.image-­‑net.org/challenges/LSVRC/2013/iccv2013 ¡

ILSVRC ¡Task ¡1: ¡Detec1on ¡ NEW ¡ Fully ¡annotated ¡200 ¡object ¡classes ¡across ¡60,000 ¡images ¡ ¡ Person ¡ Car ¡ Motorcycle ¡ Helmet ¡ Allows ¡evalua1on ¡of ¡generic ¡object ¡detec1on ¡ in ¡cluUered ¡scenes ¡at ¡scale ¡ Modeled ¡aaer ¡PASCAL ¡VOC ¡

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡ Step ¡1: ¡Define ¡object ¡classes ¡ 1000 ¡ ¡ ILSVRC ¡2012 ¡ object ¡ classes ¡

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡ Step ¡1: ¡Define ¡object ¡classes ¡ 1000 ¡ ¡ Discard ¡if ¡ ILSVRC ¡2012 ¡ “big” ¡in ¡ object ¡ images ¡ classes ¡ T-­‑shirt ¡

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡ Step ¡1: ¡Define ¡object ¡classes ¡ 1000 ¡ ¡ Discard ¡if ¡not ¡ Discard ¡if ¡ ILSVRC ¡2012 ¡ “well-­‑suited” ¡ “big” ¡in ¡ object ¡ for ¡detec1on ¡ images ¡ classes ¡ Hay ¡ T-­‑shirt ¡

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡ Step ¡1: ¡Define ¡object ¡classes ¡ 1000 ¡ ¡ Discard ¡if ¡not ¡ 494 ¡ Discard ¡if ¡ ILSVRC ¡2012 ¡ “well-­‑suited” ¡ object ¡ “big” ¡in ¡ object ¡ for ¡detec1on ¡ classes ¡ images ¡ classes ¡ Hay ¡ T-­‑shirt ¡

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡ Step ¡1: ¡Define ¡object ¡classes ¡ 200 ¡ 1000 ¡ ¡ Merge ¡ ILSVRC ¡ Discard ¡if ¡not ¡ 494 ¡ Discard ¡if ¡ into ¡basic-­‑ ILSVRC ¡2012 ¡ 2013 ¡DET ¡ “well-­‑suited” ¡ object ¡ “big” ¡in ¡ level ¡ object ¡ for ¡detec1on ¡ classes ¡ object ¡ images ¡ classes ¡ classes ¡ classes ¡ Hay ¡ T-­‑shirt ¡

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡ Step ¡1: ¡Define ¡object ¡classes ¡ Step ¡2: ¡ ¡Collect ¡images ¡ + Train ¡ = ¡ Pos: ¡ILSVRC ¡2012 ¡train ¡images ¡ Neg: ¡addi1onal ¡images, ¡ for ¡the ¡200 ¡object ¡classes ¡ mostly ¡from ¡Flickr ¡ 417 ¡– ¡67K ¡per ¡class ¡ ¡(median ¡561) ¡ 185-­‑10K ¡per ¡class ¡(median ¡4130) ¡

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡ Step ¡1: ¡Define ¡object ¡classes ¡ Step ¡2: ¡ ¡Collect ¡images ¡ + Train ¡ = ¡ Pos: ¡ILSVRC ¡2012 ¡train ¡images ¡ Neg: ¡addi1onal ¡images, ¡ for ¡the ¡200 ¡object ¡classes ¡ mostly ¡from ¡Flickr ¡ 417 ¡– ¡67K ¡per ¡class ¡ ¡(median ¡561) ¡ 185-­‑10K ¡per ¡class ¡(median ¡4130) ¡ -­‑ ¡ ILSVRC ¡2012 ¡ Images ¡with ¡target ¡ = ¡ val, ¡test ¡for ¡ object ¡occupying ¡ ¡ Val, ¡Test ¡ the ¡200 ¡ ≥ ¡50% ¡of ¡image ¡ object ¡classes ¡ area ¡ 77% ¡(15,522 ¡val ¡and ¡30,901 ¡test) ¡

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡ Step ¡1: ¡Define ¡object ¡classes ¡ Step ¡2: ¡ ¡Collect ¡images ¡ + Train ¡ = ¡ Pos: ¡ILSVRC ¡2012 ¡train ¡images ¡ Neg: ¡addi1onal ¡images, ¡ for ¡the ¡200 ¡object ¡classes ¡ mostly ¡from ¡Flickr ¡ 417 ¡– ¡67K ¡per ¡class ¡ ¡(median ¡561) ¡ 185-­‑10K ¡per ¡class ¡(median ¡4130) ¡ -­‑ ¡ + ILSVRC ¡2012 ¡ Images ¡with ¡target ¡ Addi1onal ¡images ¡ = ¡ val, ¡test ¡for ¡ object ¡occupying ¡ ¡ from ¡Flickr ¡(queries ¡ Val, ¡Test ¡ the ¡200 ¡ ≥ ¡50% ¡of ¡image ¡ e.g., ¡“kitcheneUe,” ¡ object ¡classes ¡ area ¡ “Australian ¡zoo”) ¡ 77% ¡(15,522 ¡val ¡and ¡30,901 ¡test) ¡ 23% ¡(4,599 ¡val ¡and ¡9,251 ¡test) ¡

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡ Step ¡1: ¡Define ¡object ¡classes ¡ Step ¡2: ¡ ¡Collect ¡images ¡ Step ¡3: ¡Annotate ¡valida)on&test ¡images ¡completely ¡with ¡all ¡object ¡classes ¡

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡ Step ¡1: ¡Define ¡object ¡classes ¡ Step ¡2: ¡ ¡Collect ¡images ¡ Step ¡3: ¡Annotate ¡valida)on&test ¡images ¡completely ¡with ¡all ¡object ¡classes ¡ (a) ¡Hierarchical ¡image ¡annota1on ¡ Object Presence Is there Is there Is there Image an animal? a mammal? a cat?

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡ Step ¡1: ¡Define ¡object ¡classes ¡ Step ¡2: ¡ ¡Collect ¡images ¡ Step ¡3: ¡Annotate ¡valida)on&test ¡images ¡completely ¡with ¡all ¡object ¡classes ¡ (a) ¡Hierarchical ¡image ¡annota1on ¡ Object Presence Is there Is there Is there Image an animal? a mammal? a cat? (b) ¡Bounding ¡box ¡annota1on ¡

ILSVRC ¡2013 ¡detec1on ¡data ¡

ILSVRC ¡2013 ¡detec1on ¡data ¡ Sta)s)cs ¡ PASCAL ¡VOC ¡2012 ¡ ILSVRC ¡2013 ¡ 10x ¡ Object ¡classes ¡ 20 ¡ 200 ¡ Images ¡ 5.7K ¡ 395K ¡ Training ¡ 25x ¡ Objects ¡ 13.6K ¡ 345K ¡ Images ¡ 5.8K ¡ 20.1K ¡ Valida1on ¡ 4x ¡ Objects ¡ 13.8K ¡ 55.5K ¡ Images ¡ 11.0K ¡ 40.1K ¡ Tes1ng ¡ Objects ¡ -­‑-­‑-­‑ ¡ -­‑-­‑-­‑ ¡

ILSVRC ¡2013 ¡people ¡detec1on ¡ Sta)s)cs ¡ ILSVRC ¡2013 ¡ Posi1ve ¡images ¡ 9,877 ¡ Train ¡ Instances ¡ 17,728 ¡ Nega1ve ¡images ¡ 2,248 ¡ Posi1ve ¡images ¡ 5,756 ¡ Valida1on ¡ Instances ¡ 12,824 ¡ Nega1ve ¡images ¡ 14,365 ¡ More ¡than ¡50,000 ¡person ¡instances ¡annotated ¡(train+val+test) ¡

ILSVRC ¡2013 ¡detec1on ¡data ¡ Property ¡ PASCAL ¡VOC ¡2012 ¡ ILSVRC ¡2013 ¡ Average ¡image ¡ 469 ¡x ¡387 ¡pixels ¡ 482 ¡x ¡415 ¡pixels ¡ resolu1on ¡ Average ¡object ¡classes ¡ 1.521 ¡ 1.534 ¡ per ¡image ¡ Average ¡object ¡ 2.711 ¡ 2.758 ¡ instances ¡per ¡image ¡ Average ¡object ¡scale ¡ 0.207 ¡ 0.170 ¡ (per ¡instance) ¡ Min: ¡0.07 ¡ ¡ Min: ¡0.01 ¡ 1 st ¡quar1le: ¡0.14 ¡ 1 st ¡quar1le: ¡0.09 ¡ ¡ Average ¡object ¡scale ¡ Median: ¡0.24 ¡ ¡ Median ¡0.15 ¡ (per ¡class) ¡ 3 rd ¡quar1le: ¡0.31 ¡ 3 rd ¡quar1le: ¡0.23 ¡ Max: ¡0.47 ¡ Max: ¡0.44 ¡ computed ¡on ¡valida)on ¡sets ¡

ILSVRC ¡2013 ¡detec1on ¡evalua1on ¡ Evalua)on ¡modeled ¡aZer ¡PASCAL ¡VOC: ¡ ¡ • Algorithm ¡outputs ¡a ¡list ¡of ¡bounding ¡ box ¡detec1ons ¡with ¡confidences ¡ Person ¡ • A ¡detec1on ¡is ¡considered ¡correct ¡if ¡ Car ¡ Motorcycle ¡ IOU ¡with ¡ground ¡truth ¡> ¡threshold ¡ Helmet ¡ • Evaluated ¡by ¡average ¡precision ¡per ¡ object ¡class ¡ • Winners ¡of ¡challenge ¡is ¡the ¡team ¡that ¡ wins ¡the ¡most ¡object ¡categories ¡ Everingham, ¡Van ¡Gool, ¡Williams, ¡Winn ¡and ¡Zisserman. ¡ The ¡PASCAL ¡Visual ¡Object ¡Classes ¡(VOC) ¡Challenge. ¡IJCV ¡2010. ¡

Threshold ¡for ¡Correct ¡Detec1on ¡ Intersec1on ¡ ≥ ¡ ¡ ¡0.5 ¡ ¡ Union ¡ Ground ¡truth ¡ Ground ¡truth ¡ G. ¡truth ¡ Good ¡det. ¡ Bad ¡detec)on ¡ Bad ¡det. ¡

Threshold ¡for ¡Correct ¡Detec1on ¡ Intersec1on ¡ ≥ ¡ ¡ ¡0.5 ¡ ¡ Union ¡ Ground ¡truth ¡ Might ¡be ¡ ¡ Ground ¡truth ¡ only ¡2 ¡pixels! ¡ G. ¡truth ¡ Good ¡det. ¡ Bad ¡detec)on ¡ Bad ¡det. ¡