Agenda 8:30 Classifica1on&localiza1on 9:50 - PowerPoint PPT Presentation

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Large ¡Scale ¡Visual ¡ Recogni1on ¡Challenge ¡(ILSVRC) ¡2013: ¡ Introduc)on ¡ Fei-­‑Fei ¡Li ¡ Jia ¡Deng ¡ ¡ Alexander ¡Berg ¡ Olga ¡Russakovsky ¡ Jonathan ¡Krause ¡ (Stanford ¡U.) ¡ (U. ¡of ¡Michigan) ¡ (UNC ¡Chapel ¡Hill) ¡ (Stanford ¡U.) ¡ (Stanford ¡U.) ¡

Agenda ¡ 8:30 ¡ ¡ Classifica1on&localiza1on ¡ ¡ ¡ ¡ 9:50 ¡ Spotlights ¡ 9:35 ¡ 8:50 ¡ 9:20 ¡ 9:05 ¡ ¡ 10:30 ¡ Detec1on ¡ ¡ ¡ ¡ Spotlights ¡ 11:10 ¡ 11:30 ¡ 11:40 ¡ 10:50 ¡ ¡ Noon ¡Discussion ¡panel ¡ ¡ ¡ 14:00 ¡ Invited ¡talk ¡by ¡ViUorio ¡Ferrari: ¡ ¡ ¡ Auto-­‑annota)on ¡and ¡self-­‑assessment ¡in ¡ImageNet ¡ ¡ 14:40 ¡ Fine-­‑Grained ¡Challenge ¡2013 ¡ hUp://www.image-­‑net.org/challenges/LSVRC/2013/iccv2013 ¡

Backpack ¡

Strawberry ¡ Flute ¡ Traffic ¡light ¡ Backpack ¡ Matchs1ck ¡ Bathing ¡cap ¡ Sea ¡lion ¡ Racket ¡

Large-­‑scale ¡recogni)on ¡

Large-­‑scale ¡recogni)on ¡ Need ¡benchmark ¡datasets ¡

PASCAL ¡VOC ¡2005-­‑2012 ¡ 20 ¡object ¡classes ¡ ¡22,591 ¡images ¡ Classifica)on: ¡person, ¡motorcycle ¡ Detec1on ¡ Segmenta1on ¡ Person ¡ Motorcycle ¡ Ac)on: ¡riding ¡bicycle ¡ Everingham, ¡Van ¡Gool, ¡Williams, ¡Winn ¡and ¡Zisserman. ¡ The ¡PASCAL ¡Visual ¡Object ¡Classes ¡(VOC) ¡Challenge. ¡IJCV ¡2010. ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Large ¡Scale ¡Visual ¡ Recogni1on ¡Challenge ¡(ILSVRC) ¡2010-­‑2013 ¡ 20 ¡object ¡classes ¡ ¡22,591 ¡images ¡ NEW ¡ ¡ ¡200 ¡object ¡classes ¡ ¡ ¡ ¡ ¡456,191 ¡images ¡ ¡DET ¡ ¡ ¡1000 ¡object ¡classes ¡ ¡1,431,167 ¡images ¡ ¡CLS-­‑LOC ¡ ¡ ¡ Person ¡ Person ¡ Person ¡ Person ¡ Dog ¡ hOp://image-­‑net.org/challenges/LSVRC/{2010,2011,2012,2013} ¡

Variety ¡of ¡object ¡classes ¡in ¡ILSVRC ¡ Olga ¡Russakovsky, ¡Jia ¡Deng, ¡Zhiheng ¡Huang, ¡Alex ¡Berg, ¡Li ¡Fei-­‑Fei ¡ Detec1ng ¡avocados ¡to ¡zucchinis: ¡what ¡have ¡we ¡done, ¡and ¡where ¡are ¡we ¡going? ¡ICCV ¡2013 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ hOp://image-­‑net.org/challenges/LSVRC/2012/analysis ¡

Variety ¡of ¡object ¡classes ¡in ¡ILSVRC ¡ CLS-­‑LOC ¡ DET ¡

Par1cipa1on ¡in ¡ILSVRC ¡over ¡the ¡years ¡ Number ¡of ¡entries ¡ ILSVRC ¡2012 ¡ ILSVRC ¡2013: ¡ ILSVRC ¡2011 ¡ 81 ¡entries! ¡ ILSVRC ¡2010 ¡ 3 ¡years: ¡ This ¡year: ¡ 2010-­‑2012 ¡ 2013 ¡ Year ¡

ILSVRC ¡Task ¡1: ¡Detec1on ¡ NEW ¡ Fully ¡annotated ¡200 ¡object ¡classes ¡across ¡60,000 ¡images ¡ ¡ Person ¡ Car ¡ Motorcycle ¡ Helmet ¡ Allows ¡evalua1on ¡of ¡generic ¡object ¡detec1on ¡ in ¡cluUered ¡scenes ¡at ¡scale ¡ Modeled ¡aher ¡PASCAL ¡VOC ¡

ILSVRC ¡Task ¡1: ¡Detec1on ¡ NEW ¡ Stay ¡tuned! ¡ ¡ At ¡10:30: ¡ Person ¡ Car ¡ • Data ¡collec1on ¡ Motorcycle ¡ Helmet ¡ • Dataset ¡sta1s1cs ¡ • ILSVRC2013 ¡DET ¡winners ¡

ILSVRC ¡Task ¡2: ¡Classifica1on ¡ Steel ¡drum ¡

ILSVRC ¡Task ¡2: ¡Classifica1on ¡ Steel ¡drum ¡ Output: ¡ Output: ¡ Scale ¡ Scale ¡ ✗ ¡ ✔ ¡ T-­‑shirt ¡ T-­‑shirt ¡ Steel ¡drum ¡ Giant ¡panda ¡ Drums1ck ¡ Drums1ck ¡ Mud ¡turtle ¡ Mud ¡turtle ¡

ILSVRC ¡Task ¡2: ¡Classifica1on ¡ Steel ¡drum ¡ Output: ¡ Output: ¡ Scale ¡ Scale ¡ ✗ ¡ ✔ ¡ T-­‑shirt ¡ T-­‑shirt ¡ Steel ¡drum ¡ Giant ¡panda ¡ Drums1ck ¡ Drums1ck ¡ Mud ¡turtle ¡ Mud ¡turtle ¡ Σ ¡ 1 ¡ Error ¡= ¡ ¡ ¡ 1[incorrect ¡on ¡image ¡i] ¡ 100,000 ¡ 100,000 ¡ images ¡

ILSVRC ¡over ¡the ¡years ¡ Classifica1on ¡ Localiza1on ¡ 2010 ¡ 0.28 ¡ 0.43 ¡ 2011 ¡ # ¡Submissions ¡ 0.26 ¡ 0.34 ¡ 2012 ¡ 0.15 ¡ 0.30 ¡ 2013 ¡ 0.11 ¡ Error(5 ¡predic1ons/image) ¡ Error(5 ¡predic1ons/image) ¡

ILSVRC2013 ¡classifica1on ¡results ¡ Team ¡Name ¡ Error ¡ Clarifai ¡(with ¡outside ¡data) ¡ 0.112 ¡ Clarifai ¡ 0.117 ¡ NUS ¡ 0.130 ¡ ZF ¡ 0.135 ¡ Andrew ¡Howard ¡ 0.136 ¡ OverFeat ¡– ¡NYU ¡ 0.142 ¡ UvA-­‑Euvision ¡ 0.143 ¡ Adobe ¡ 0.152 ¡ VGG ¡ 0.152 ¡ Cogni1ve ¡Vision ¡ 0.161 ¡ Decaf ¡ 0.192 ¡ IBM ¡Mul1media ¡Team ¡ 0.207 ¡ … ¡ ¡Deep ¡Punx, ¡Minerva-­‑MSRA, ¡MIL, ¡Orange, ¡BUPT-­‑Orange, ¡ Trimps-­‑Soushen1, ¡Quantum ¡Leap ¡

ILSVRC2013 ¡classifica1on ¡results ¡ Team ¡Name ¡ Error ¡ MaUhew ¡Zeiler, ¡ Clarifai ¡(with ¡outside ¡data) ¡ 0.112 ¡ Clarifai ¡ Winner ¡ Clarifai ¡ 0.117 ¡ Runner-­‑up ¡ NUS ¡ 0.130 ¡ Min ¡Lin*, ¡ ZF ¡ 0.135 ¡ Qiang ¡Chen*, ¡ Jian ¡Dong, ¡ Andrew ¡Howard ¡ 0.136 ¡ Junshi ¡Huang, ¡ OverFeat ¡– ¡NYU ¡ 0.142 ¡ Wei ¡Xia, ¡ Shuicheng ¡Yan ¡ UvA-­‑Euvision ¡ 0.143 ¡ (*=equal ¡ Adobe ¡ 0.152 ¡ contribu1on) ¡ Na)onal ¡ VGG ¡ 0.152 ¡ University ¡of ¡ Cogni1ve ¡Vision ¡ 0.161 ¡ Singapore ¡ Decaf ¡ 0.192 ¡ IBM ¡Mul1media ¡Team ¡ 0.207 ¡ … ¡ ¡Deep ¡Punx, ¡Minerva-­‑MSRA, ¡MIL, ¡Orange, ¡BUPT-­‑Orange, ¡ Trimps-­‑Soushen1, ¡Quantum ¡Leap ¡

ILSVRC2013 ¡classifica1on ¡ Canoe, ¡Rapeseed, ¡Screw ¡ Basketball, ¡ Spider ¡web ¡ ¡(best ¡across ¡all ¡entries) ¡ Ping-­‑pong ¡ ball, ¡ Top-­‑5 ¡accuracy ¡ Swimming ¡ trunks ¡ Restaurant ¡ Plunger ¡ Hatchet ¡ Hook ¡ Ladle ¡ Velvet ¡ LeOer ¡opener ¡ Each ¡dot ¡ corresponds ¡ to ¡one ¡object ¡ class ¡ Average ¡scale ¡of ¡object ¡in ¡image ¡

ILSVRC ¡Task ¡3: ¡Classifica1on ¡+ ¡Localiza1on ¡ Steel ¡drum ¡

ILSVRC ¡Task ¡3: ¡Classifica1on ¡+ ¡Localiza1on ¡ Steel ¡drum ¡ Output ¡ Persian ¡ Loud ¡ cat ¡ speaker ¡ Steel ¡ ✔ ¡ drum ¡ Folding ¡ Picket ¡ chair ¡ fence ¡

ILSVRC ¡Task ¡3: ¡Classifica1on ¡+ ¡Localiza1on ¡ Steel ¡drum ¡ Output ¡ Persian ¡ Loud ¡ cat ¡ speaker ¡ Steel ¡ ✔ ¡ drum ¡ Folding ¡ Picket ¡ chair ¡ fence ¡ Output ¡(bad ¡localiza1on) ¡ Output ¡(bad ¡classifica1on) ¡ Persian ¡ Persian ¡ Loud ¡ Loud ¡ cat ¡ cat ¡ speaker ¡ speaker ¡ King ¡ Steel ¡ ✗ ¡ ✗ ¡ penguin ¡ drum ¡ Folding ¡ Folding ¡ Picket ¡ Picket ¡ chair ¡ chair ¡ fence ¡ fence ¡

ILSVRC ¡Task ¡3: ¡Classifica1on ¡+ ¡Localiza1on ¡ Steel ¡drum ¡ Output ¡ Persian ¡ Loud ¡ cat ¡ speaker ¡ Steel ¡ ✔ ¡ drum ¡ Folding ¡ Picket ¡ chair ¡ fence ¡ Σ ¡ 1 ¡ Error ¡= ¡ ¡ ¡ 1[incorrect ¡on ¡image ¡i] ¡ 100,000 ¡ 100,000 ¡ images ¡

ILSVRC2013 ¡classifica1on+localiza1on ¡ results ¡ Team ¡Name ¡ Error ¡ OverFeat ¡-­‑ ¡NYU ¡ 0.299 ¡ VGG ¡ 0.464 ¡

ILSVRC2013 ¡classifica1on+localiza1on ¡ results ¡ Pierre ¡Sermanet, ¡ David ¡Eigen, ¡ ¡ Michael ¡Mathieu, ¡ Xiang ¡Zhang, ¡ ¡ Rob ¡Fergus, ¡ ¡ Team ¡Name ¡ Error ¡ Yann ¡LeCun ¡ Winner ¡ NYU ¡ OverFeat ¡-­‑ ¡NYU ¡ 0.299 ¡ VGG ¡ 0.464 ¡ Runner-­‑up ¡ Karen ¡Simonyan, ¡ Andrea ¡Vedaldi, ¡ Andrew ¡Zisserman ¡ Visual ¡Geometry ¡ Group, ¡University ¡ of ¡Oxford ¡

ILSVRC2013 ¡classifica1on+localiza1on ¡ ¡(best ¡across ¡all ¡entries) ¡ Top-­‑5 ¡accuracy ¡ Each ¡dot ¡ corresponds ¡ to ¡one ¡object ¡ class ¡ Average ¡scale ¡of ¡object ¡in ¡image ¡

ILSVRC2013 ¡classifica1on+localiza1on ¡ ¡(best ¡across ¡all ¡entries) ¡ Top-­‑5 ¡accuracy ¡ Each ¡dot ¡ corresponds ¡ to ¡one ¡object ¡ class ¡ Average ¡scale ¡of ¡object ¡in ¡image ¡