Schedule 8:45 Object detec)on 10:15 Spotlights - PowerPoint PPT Presentation

Schedule ¡ 8:45 ¡ ¡ Object ¡detec)on ¡ ¡ ¡ ¡ 10:15 ¡ Spotlights ¡ 10:00 ¡ 9:25 ¡ 9:10 ¡ 9:45 ¡ ¡ 11:00 ¡ Classifica)on&localiza)on ¡ ¡ ¡ ¡ 12:15 ¡ Spotlights ¡ 11:15 ¡ 11:30 ¡ 12:00 ¡ 11:45 ¡ ¡ 14:00 ¡ Awards&Discussion ¡ ¡ Awards ¡ 14:40 ¡ Discussion ¡ 14:00 ¡ 14:10 ¡ 14:30 ¡ 14:20 ¡ ¡ 15:00 ¡Poster ¡and ¡live ¡demo ¡session ¡ Many ¡thanks ¡to: ¡ ILSVRC2014 ¡awards ¡sponsor ¡ Volunteer ¡videographer ¡ ILSVRC2014 ¡sponsors ¡ Koen ¡ van ¡de ¡Sande ¡

ILSVRC ¡Task ¡2: ¡Classifica)on ¡+ ¡Localiza)on ¡ Steel ¡drum ¡

ILSVRC ¡Task ¡2: ¡Classifica)on ¡+ ¡Localiza)on ¡ Steel ¡drum ¡ Output ¡ Persian ¡ Loud ¡ cat ¡ speaker ¡ Steel ¡ ✔ ¡ drum ¡ Folding ¡ Picket ¡ chair ¡ fence ¡

ILSVRC ¡Task ¡2: ¡Classifica)on ¡+ ¡Localiza)on ¡ Steel ¡drum ¡ Output ¡ Persian ¡ Loud ¡ cat ¡ speaker ¡ Steel ¡ ✔ ¡ drum ¡ Folding ¡ Picket ¡ chair ¡ fence ¡ Output ¡(bad ¡localiza)on) ¡ Output ¡(bad ¡classifica)on) ¡ Persian ¡ Persian ¡ Loud ¡ Loud ¡ cat ¡ cat ¡ speaker ¡ speaker ¡ King ¡ Steel ¡ ✗ ¡ ✗ ¡ penguin ¡ drum ¡ Folding ¡ Folding ¡ Picket ¡ Picket ¡ chair ¡ chair ¡ fence ¡ fence ¡

ILSVRC ¡Task ¡2: ¡Classifica)on ¡+ ¡Localiza)on ¡ Steel ¡drum ¡ Output ¡ Persian ¡ Loud ¡ cat ¡ speaker ¡ Steel ¡ ✔ ¡ drum ¡ Folding ¡ Picket ¡ chair ¡ fence ¡ Σ ¡ 1 ¡ Error ¡= ¡ ¡ ¡ 1[incorrect ¡on ¡image ¡i] ¡ 100,000 ¡ 100,000 ¡ images ¡

ILSVRC2014 ¡localiza)on ¡results: ¡ with ¡provided ¡training ¡data ¡only ¡ Team ¡Name ¡ Error ¡(%) ¡ VGG: ¡ VGG ¡ 25.3 ¡ Karen ¡Simonyan, ¡ GoogLeNet ¡ 26.4 ¡ Andrew ¡Zisserman ¡ University ¡of ¡Oxford ¡ SYSU_Vision ¡ 31.9 ¡ MIL ¡ 33.7 ¡ GoogLeNet: ¡ MSRA ¡Visual ¡compu)ng ¡ 35.5 ¡ Chris)an ¡Szegedy, ¡Wei ¡Liu, ¡Yangqing ¡ Jia, ¡Pierre ¡Sermanet, ¡Scoo ¡Reed, ¡ ORANGE-­‑BUPT ¡ 42.8 ¡ Drago ¡Anguelov, ¡Dumitru ¡Erhan, ¡ Cldi-­‑KAIST ¡ 46.9 ¡ Andrew ¡Rabinovich ¡ Google ¡ TTIC_ECP ¡– ¡Epitomic ¡Vision ¡ 48.3 ¡ Brno ¡University ¡of ¡Technology ¡ 52.0 ¡ Andrew ¡Howard, ¡BDC-­‑I2R-­‑UPMC, ¡BREIL_KAIST, ¡ DeepCNet, ¡DeeperVision, ¡Fengjun ¡Lv, ¡libccv, ¡NUS-­‑BST, ¡ PassBy, ¡SCUT_GLH, ¡UI, ¡UvA-­‑Euvision, ¡XYZ ¡

ILSVRC2014 ¡localiza)on ¡results: ¡ with ¡addi)onal ¡training ¡data ¡ Adobe-­‑UIUC: ¡ Team ¡Name ¡ Error ¡(%) ¡ Hailin ¡Jin† ¡, ¡Zhaowen ¡Wang‡ ¡, ¡ Jianchao ¡Yang† ¡, ¡Zhe ¡Lin† ¡ Adobe-­‑UIUC ¡ 30.1 ¡ † ¡ ¡= ¡Adobe ¡ Trimps-­‑Soushen ¡ 42.2 ¡ ‡ ¡= ¡UIUC ¡ ORANGE-­‑BUPT ¡ 42.7 ¡ Trimps-­‑Soushen: ¡ CASIA_CRIPAC_Weak_Supervision ¡ 62.0 ¡ Jie ¡Shao, ¡Xiaoteng ¡Zhang, ¡JianYing ¡ Zhou, ¡Jian ¡Wang, ¡Jian ¡Chen, ¡Yanfeng ¡ Shang, ¡Wenfei ¡Wang, ¡Lin ¡Mei, ¡ Chuanping ¡Hu ¡ ¡ The ¡Third ¡Research ¡Ins)tute ¡of ¡the ¡ Ministry ¡of ¡Public ¡Security ¡ ¡

ILSVRC ¡Task ¡2a: ¡Classifica)on-­‑only ¡ Steel ¡drum ¡ Output ¡ Persian ¡ Loud ¡ cat ¡ speaker ¡ Steel ¡ ✔ ¡ drum ¡ Folding ¡ Picket ¡ chair ¡ fence ¡ Output ¡(bad ¡localiza)on) ¡ Output ¡(bad ¡classifica)on) ¡ Persian ¡ Persian ¡ Loud ¡ Loud ¡ cat ¡ cat ¡ speaker ¡ speaker ¡ King ¡ Steel ¡ ✗ ¡ ✔ ¡ penguin ¡ drum ¡ Folding ¡ Folding ¡ Picket ¡ Picket ¡ chair ¡ chair ¡ fence ¡ fence ¡

ILSVRC ¡Task ¡2a: ¡Classifica)on-­‑only ¡ Steel ¡drum ¡ Output ¡ Persian ¡ Loud ¡ cat ¡ speaker ¡ Steel ¡ ✔ ¡ drum ¡ Folding ¡ Picket ¡ chair ¡ fence ¡ Output ¡(bad ¡localiza)on) ¡ Persian ¡ Loud ¡ 100,000 ¡ Σ ¡ cat ¡ speaker ¡ 1 ¡ Incorrect ¡ 1[ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡] ¡ Steel ¡ Error ¡= ¡ ¡ ¡ ✔ ¡ on ¡image ¡i ¡ drum ¡ Folding ¡ Picket ¡ chair ¡ fence ¡ 100,000 ¡ images ¡

ILSVRC2014 ¡classifica)on ¡results: ¡ with ¡provided ¡training ¡data ¡only ¡ Team ¡Name ¡ Error ¡(%) ¡ GoogLeNet: ¡ GoogLeNet ¡ 6.7 ¡ Chris)an ¡Szegedy, ¡Wei ¡Liu, ¡Yangqing ¡ VGG ¡ 7.3 ¡ Jia, ¡Pierre ¡Sermanet, ¡Scoo ¡Reed, ¡ Drago ¡Anguelov, ¡Dumitru ¡Erhan, ¡ MSRA ¡Visual ¡compu)ng ¡ 8.1 ¡ Andrew ¡Rabinovich ¡ Andrew ¡Howard ¡ ¡ 8.1 ¡ Google ¡ DeeperVision ¡ 9.5 ¡ NUS-­‑BST ¡ 9.8 ¡ VGG: ¡ TTIC_ECP ¡– ¡Epitomic ¡Vision ¡ 10.2 ¡ Karen ¡Simonyan, ¡ Andrew ¡Zisserman ¡ XYZ ¡ 11.2 ¡ University ¡of ¡Oxford ¡ BDC-­‑I2R-­‑UPMC ¡ 11.3 ¡ BREIL_KAIST, ¡Brno ¡University ¡of ¡Technology, ¡Cldi-­‑KAIST, ¡ DeepCNet, ¡Fengjun ¡Lv, ¡libccv, ¡MIL, ¡Orange-­‑BUPT, ¡ PassBy, ¡SCUT_GLH, ¡SYSU_Vision, ¡UI, ¡UvA-­‑Euvision ¡

ILSVRC2014 ¡classifica)on ¡results: ¡ with ¡addi)onal ¡training ¡data ¡ Team ¡Name ¡ Error ¡(%) ¡ CASIA_CRIPAC_Weak_Supervision: ¡ Weiqiang ¡Ren, ¡Chong ¡Wang, ¡Yanhua ¡ CASIA_CRIPAC_Weak_Supervision ¡ 11.4 ¡ Chen, ¡Kaiqi ¡Huang, ¡Tieniu ¡Tan ¡ ¡ Trimps-­‑Soushen ¡ 11.5 ¡ CRIPAC, ¡CASIA ¡ Adobe-­‑UIUC ¡ 11.6 ¡ Trimps-­‑Soushen: ¡ ORANGE-­‑BUPT ¡ 14.8 ¡ Jie ¡Shao, ¡Xiaoteng ¡Zhang, ¡JianYing ¡Zhou, ¡ Jian ¡Wang, ¡Jian ¡Chen, ¡Yanfeng ¡Shang, ¡ Wenfei ¡Wang, ¡Lin ¡Mei, ¡Chuanping ¡Hu ¡ ¡ The ¡Third ¡Research ¡Ins)tute ¡of ¡the ¡ Ministry ¡of ¡Public ¡Security ¡ ¡

Easiest ¡localiza)on ¡ ¡categories ¡ (Highest ¡ accuracy ¡in ¡percent ¡achieved ¡by ¡any ¡method ¡in ¡ILSVRC2013 ¡and ¡ILSVRC2014) ¡ ¡ hop://arxiv.org/abs/1409.0575 ¡

Hardest ¡localiza)on ¡ ¡categories ¡ (Highest ¡ accuracy ¡in ¡percent ¡achieved ¡by ¡any ¡method ¡in ¡ILSVRC2013 ¡and ¡ILSVRC2014) ¡ ¡ hop://arxiv.org/abs/1409.0575 ¡

Easiest ¡classifica)on ¡categories ¡ … ¡and ¡111 ¡more ¡categories ¡with ¡100% ¡accuracy! ¡ (Highest ¡ accuracy ¡in ¡percent ¡achieved ¡by ¡any ¡method ¡in ¡ILSVRC2013 ¡and ¡ILSVRC2014) ¡ ¡ hop://arxiv.org/abs/1409.0575 ¡

Hardest ¡classifica)on ¡categories ¡ (Highest ¡ accuracy ¡in ¡percent ¡achieved ¡by ¡any ¡method ¡in ¡ILSVRC2013 ¡and ¡ILSVRC2014) ¡ ¡ hop://arxiv.org/abs/1409.0575 ¡

What ¡is ¡human ¡accuracy ¡on ¡ ILSVRC2014 ¡classifica)on? ¡ Andrej ¡Karpathy ¡ But ¡data ¡is ¡manually ¡annotated, ¡isn’t ¡human ¡accuracy ¡100%? ¡ Current ¡crowdsourcing ¡annota)on ¡interface ¡ Is ¡this ¡a ¡badger? ¡Yes ¡or ¡No ¡ Very ¡different ¡from ¡ ¡ Which ¡one ¡of ¡1000 ¡classes ¡is ¡this? ¡ hop://arxiv.org/abs/1409.0575 ¡

New ¡web-­‑based ¡annota)on ¡interface ¡ with ¡1000 ¡object ¡classes ¡ hop://bit.ly/ilsvrclabel ¡ hop://arxiv.org/abs/1409.0575 ¡

Human ¡vs ¡computer ¡accuracy ¡on ¡ ILSVRC2014 ¡classifica)on ¡ • Compared ¡expert ¡human ¡annotators ¡with ¡winning ¡GoogLeNet ¡entry ¡ Annotator ¡1 ¡ Annotator ¡2 ¡ Total ¡number ¡of ¡images ¡ 1500 ¡ 258 ¡ GoogLeNet ¡classifica)on ¡error ¡ 6.8% ¡ 5.8% ¡ Human ¡classifica)on ¡error ¡ 5.1% ¡ 12.0% ¡ • Annotator ¡1 ¡achieved ¡beoer ¡accuracy ¡than ¡GoogLeNet ¡by ¡1.7% ¡( p ¡= ¡0.022) ¡ hop://arxiv.org/abs/1409.0575 ¡

Human ¡vs ¡computer ¡accuracy ¡on ¡ ILSVRC2014 ¡classifica)on ¡ • Compared ¡expert ¡human ¡annotators ¡with ¡winning ¡GoogLeNet ¡entry ¡ Annotator ¡1 ¡ Annotator ¡2 ¡ Total ¡number ¡of ¡images ¡ 1500 ¡ 258 ¡ GoogLeNet ¡classifica)on ¡error ¡ 6.8% ¡ 5.8% ¡ Human ¡classifica)on ¡error ¡ 5.1% ¡ 12.0% ¡ • Annotator ¡1 ¡achieved ¡beoer ¡accuracy ¡than ¡GoogLeNet ¡by ¡1.7% ¡( p ¡= ¡0.022) ¡ • Task ¡required ¡ significant ¡amount ¡of ¡training ¡for ¡humans ¡ hop://arxiv.org/abs/1409.0575 ¡