Image Classifica-on Professor Fei-Fei Li Stanford Vision - PowerPoint PPT Presentation

Image ¡Classifica-on ¡ Professor ¡Fei-­‑Fei ¡Li ¡ Stanford ¡Vision ¡Lab ¡ 1 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

What ¡we ¡will ¡learn ¡today? ¡ • Introduc-on ¡ • Bag ¡of ¡words ¡representa-on ¡ • Discrimina-ve ¡model: ¡ – Case ¡study: ¡Spa-al ¡Pyramid ¡Matching ¡ • Genera-ve ¡mode: ¡ – Case ¡study: ¡topic ¡model ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 2 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

Image ¡Classifica-on: ¡ ¡ a ¡fundamental ¡vision ¡task ¡ • A ¡scene ¡containing ¡ people ¡ • An ¡outdoor ¡scene ¡ • A ¡riverbank ¡scene ¡ of ¡people ¡siNng ¡ and ¡walking ¡ • “Sunday ¡aPernoon ¡ on ¡the ¡island ¡of ¡ Grand ¡JaRe” ¡ Seurat, ¡1884-­‑5 ¡ 3 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

4 ¡ 15-­‑May-­‑13 ¡ Fei-Fei Li � Lecture 14 - � �

Project ¡3 ¡– ¡Image ¡Classifica-on ¡ Classifying ¡natural ¡ Classifying ¡human ¡ Classifying ¡objects ¡ scenes ¡ ac-ons ¡ 5 ¡ 15-­‑May-­‑13 ¡ Fei-Fei Li � Lecture 14 - � �

What ¡we ¡will ¡learn ¡today? ¡ • Introduc-on ¡ – Studies ¡from ¡human ¡vision ¡ • Bag ¡of ¡words ¡representa-on ¡ • Discrimina-ve ¡model: ¡ – Case ¡study: ¡Spa-al ¡Pyramid ¡Matching ¡ • Genera-ve ¡mode: ¡ – Case ¡study: ¡topic ¡model ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 6 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

S. ¡Lumet, ¡1965 ¡ 7 ¡ 15-­‑May-­‑13 ¡ Fei-Fei Li � Lecture 14 - � �

Biederman, ¡ Science, ¡ 1973 ¡ 8 ¡ 15-­‑May-­‑13 ¡ Fei-Fei Li � Lecture 14 - � �

Biederman, ¡ Science, ¡ 1973 ¡ 9 ¡ 15-­‑May-­‑13 ¡ Fei-Fei Li � Lecture 14 - � �

Thorpe, ¡et ¡al. ¡ ¡Nature, ¡ 1996 ¡ 10 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

150 ¡ms ¡!! ¡ Thorpe, ¡et ¡al. ¡ ¡Nature, ¡ 1996 ¡ 11 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

? Neural ¡correlates? ¡ 12 ¡ 15-­‑May-­‑13 ¡ Fei-Fei Li � Lecture 14 - � �

Neural ¡correlates ¡from ¡fMRI ¡PaRern ¡Recogni-on ¡ Training Images � Pattern 
 Train � Recognition Alg. 
 (SVM) � Test Image � Guess � “beach” � Walther, ¡Caddigan, ¡Fei-­‑Fei, ¡Beck, ¡J. ¡Neurosci. ¡2009 ¡ 13 ¡ 15-­‑May-­‑13 ¡ Fei-Fei Li � Lecture 14 - � �

Neural ¡correlates ¡of ¡scenes ¡ ¡* ¡p ¡< ¡0.05 ¡ ** ¡p ¡< ¡0.01 ¡ PPA ¡ 14 ¡ 15-­‑May-­‑13 ¡ Fei-Fei Li � Lecture 14 - � �

What ¡we ¡will ¡learn ¡today? ¡ • Introduc-on ¡ • Bag ¡of ¡words ¡representa-on ¡ • Discrimina-ve ¡model: ¡ – Case ¡study: ¡Spa-al ¡Pyramid ¡Matching ¡ • Genera-ve ¡mode: ¡ – Case ¡study: ¡topic ¡model ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 15 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

Part ¡1: ¡Bag-­‑of-­‑words ¡models ¡ This ¡segment ¡is ¡based ¡on ¡the ¡tutorial ¡ “ Recognizing ¡and ¡Learning ¡ ¡ Object ¡Categories: ¡Year ¡2007 ”, ¡by ¡Prof ¡L. ¡Fei-­‑Fei, ¡A. ¡Torralba, ¡and ¡R. ¡Fergus ¡ 16 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

Object Bag of ‘words’ 17 ¡ 15-­‑May-­‑13 ¡ Fei-Fei Li � Lecture 14 - � �

Analogy ¡to ¡documents ¡ Of all the sensory impressions proceeding to China is forecasting a trade surplus of $90bn the brain, the visual experiences are the (£51bn) to $100bn this year, a threefold dominant ones. Our perception of the world increase on 2004's $32bn. The Commerce around us is based essentially on the Ministry said the surplus would be created by messages that reach the brain from our eyes. a predicted 30% jump in exports to $750bn, For a long time it was thought that the retinal compared with a 18% rise in imports to sensory, brain, China, trade, image was transmitted point by point to visual $660bn. The figures are likely to further centers in the brain; the cerebral cortex was a annoy the US, which has long argued that visual, perception, surplus, commerce, movie screen, so to speak, upon which the China's exports are unfairly helped by a retinal, cerebral cortex, exports, imports, US, image in the eye was projected. Through the deliberately undervalued yuan. Beijing eye, cell, optical yuan, bank, domestic, discoveries of Hubel and Wiesel we now agrees the surplus is too high, but says the know that behind the origin of the visual yuan is only one factor. Bank of China nerve, image foreign, increase, perception in the brain there is a considerably governor Zhou Xiaochuan said the country Hubel, Wiesel trade, value more complicated course of events. By also needed to do more to boost domestic following the visual impulses along their path demand so more goods stayed within the to the various cell layers of the optical cortex, country. China increased the value of the Hubel and Wiesel have been able to yuan against the dollar by 2.1% in July and demonstrate that the message about the permitted it to trade within a narrow band, but image falling on the retina undergoes a step- the US wants the yuan to be allowed to trade wise analysis in a system of nerve cells freely. However, Beijing has made it clear that stored in columns. In this system each cell it will take its time and tread carefully before has its specific function and is responsible for allowing the yuan to rise further in value. a specific detail in the pattern of the retinal image. 18 ¡ 15-­‑May-­‑13 ¡ Fei-Fei Li � Lecture 14 - � �

defini-on ¡of ¡“BoW” ¡ – Independent ¡features ¡ ¡ bike ¡ violin ¡ face ¡ 19 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

defini-on ¡of ¡“BoW” ¡ – Independent ¡features ¡ ¡ – histogram ¡representa-on ¡ codewords ¡dic-onary ¡ 20 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

Representation recognition codewords dictionary feature detection & representation image representation learning category models category decision (and/or) classifiers 21 ¡ 15-­‑May-­‑13 ¡ Fei-Fei Li � Lecture 14 - � �

1. ¡Feature ¡extrac8on ¡ • Regular ¡grid ¡or ¡interest ¡regions ¡ 22 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

1. ¡Feature ¡extrac8on ¡ Compute ¡ Normalize ¡patch ¡ descriptor ¡ (e.g. ¡SIFT) ¡ Detect ¡patches ¡ Slide ¡credit: ¡Josef ¡Sivic ¡ 23 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

1. ¡Feature ¡extrac8on ¡ … ¡ Slide ¡credit: ¡Josef ¡Sivic ¡ 24 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

2. ¡Learning ¡the ¡visual ¡vocabulary ¡ … ¡ Slide ¡credit: ¡Josef ¡Sivic ¡ 25 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

2. ¡Learning ¡the ¡visual ¡vocabulary ¡ … ¡ Clustering ¡(e.g. ¡k-­‑means) ¡ Slide ¡credit: ¡Josef ¡Sivic ¡ 26 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

2. ¡Learning ¡the ¡visual ¡vocabulary ¡ Visual ¡vocabulary ¡ … ¡ Clustering ¡(e.g. ¡K-­‑means) ¡ Slide ¡credit: ¡Josef ¡Sivic ¡ 27 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

Clustering ¡and ¡vector ¡quan-za-on ¡ • Clustering ¡is ¡a ¡common ¡method ¡for ¡learning ¡a ¡visual ¡ vocabulary ¡or ¡codebook ¡ – Unsupervised ¡learning ¡process ¡ – Each ¡cluster ¡center ¡produced ¡by ¡k-­‑means ¡becomes ¡a ¡ codevector ¡ – Codebook ¡can ¡be ¡learned ¡on ¡separate ¡training ¡set ¡ – Provided ¡the ¡training ¡set ¡is ¡sufficiently ¡representa-ve, ¡ the ¡codebook ¡will ¡be ¡“universal” ¡ ¡ • The ¡codebook ¡is ¡used ¡for ¡quan-zing ¡features ¡ – A ¡ vector ¡quanBzer ¡takes ¡a ¡feature ¡vector ¡and ¡maps ¡it ¡ to ¡the ¡index ¡of ¡the ¡nearest ¡codevector ¡in ¡a ¡codebook ¡ – Codebook ¡= ¡visual ¡vocabulary ¡ – Codevector ¡= ¡visual ¡word ¡ ¡ 28 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

Example ¡codebook ¡ … Appearance ¡codebook ¡ Source: ¡B. ¡Leibe ¡ 29 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �

Another ¡codebook ¡ … … … … … Appearance ¡codebook ¡ Source: ¡B. ¡Leibe ¡ 30 ¡ 15-­‑May-­‑13 ¡ Lecture 14 - � Fei-Fei Li � �