Crea%ng Consistent Scene Graphs Using a Probabilis%c Grammar - PowerPoint PPT Presentation

Crea%ng ¡Consistent ¡Scene ¡Graphs ¡ Using ¡a ¡Probabilis%c ¡Grammar ¡ 1 1,2 ¡ 3 ¡ Tianqiang ¡Liu ¡ Siddhartha ¡Chaudhuri ¡ ¡ Vladimir ¡G. ¡Kim ¡ 3,4 ¡ 5 ¡ 1 ¡ Qi-­‑Xing ¡Huang ¡ Niloy ¡J. ¡Mitra ¡ Thomas ¡Funkhouser ¡ 5 1 2 3 4 Princeton ¡ Cornell ¡ Stanford ¡ TTIC ¡ UCL ¡ University ¡ University ¡ University ¡

Mo%va%on ¡ Growing ¡number ¡of ¡3D ¡scenes ¡online. ¡ Google ¡3D ¡warehouse ¡

Mo%va%on ¡ Synthesis ¡[Fisher ¡et ¡al ¡2012, ¡Xu ¡et ¡al ¡2013] ¡ Understanding ¡[Xu ¡et ¡al ¡2014, ¡Song ¡et ¡al ¡2014] ¡

Goal ¡ Input: ¡A ¡scene ¡from ¡Trimble ¡3D ¡Warehouse ¡

Goal ¡ Output ¡1: ¡Seman%c ¡segmenta%ons ¡

Goal ¡ Output ¡2: ¡Category ¡labels. ¡ Nightstand ¡ Window ¡ Door ¡ Pillow ¡ Bed ¡frame ¡ Ma1ress ¡ Heater ¡ Mirror ¡ Ar:fact ¡ Dresser ¡

Goal ¡ Output ¡2: ¡Category ¡labels ¡at ¡different ¡levels. ¡ Bed ¡& ¡supported ¡ Dresser ¡& ¡supported ¡

Goal ¡ Output ¡2: ¡Category ¡labels ¡at ¡different ¡levels. ¡ Sleeping ¡area ¡ Door ¡set ¡ Vanity ¡area ¡

Challenges ¡ Shape ¡is ¡not ¡dis%nc%ve. ¡ Night ¡table ¡ ¡ Console ¡table ¡

Challenges ¡ Contextual ¡informa%on ¡ Study ¡desk ¡ Study ¡chair ¡ Mee:ng ¡table ¡ Mee:ng ¡chair ¡

Challenges ¡ All-­‑pair ¡contextual ¡informa%on ¡is ¡not ¡dis%nc%ve. ¡ Mee:ng ¡chair ¡vs ¡Mee:ng ¡chair ¡ #pairs ¡ 15 ¡ 10 ¡ 5 ¡ 0 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ feet ¡ Study ¡chair ¡vs ¡Study ¡chair ¡ #pairs ¡ 10 ¡ 5 ¡ 0 ¡ 0 ¡ 2 ¡ 4 ¡ 6 ¡ feet ¡

Challenges ¡

Challenges ¡

Challenges ¡

Challenges ¡ All-­‑pair ¡contextual ¡informa%on ¡is ¡not ¡dis%nc%ve. ¡ Mee:ng ¡chair ¡vs ¡Mee:ng ¡chair ¡ #pairs ¡ 15 ¡ 10 ¡ 5 ¡ 0 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ feet ¡ Study ¡chair ¡vs ¡Study ¡chair ¡ #pairs ¡ 10 ¡ 5 ¡ 0 ¡ 0 ¡ 2 ¡ 4 ¡ 6 ¡ feet ¡

Key ¡Idea ¡ Seman%c ¡groups ¡ Seman%c ¡hierarchy ¡

Key ¡Idea ¡ Mee:ng ¡chair ¡vs ¡Mee:ng ¡chair ¡ #pairs ¡ 2 ¡ 1 ¡ 0 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ feet ¡ Study ¡chair ¡vs ¡Study ¡chair ¡ #pairs ¡ 1 ¡ 0.5 ¡ 0 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ feet ¡

Pipeline ¡ Probabilis%c ¡ grammar ¡

Related ¡Work ¡ Van ¡Kaick ¡et ¡al. ¡2013 ¡

Related ¡Work ¡ Van ¡Kaick ¡et ¡al. ¡2013 ¡ Boulch ¡et ¡al. ¡2013 ¡

Overview ¡ Grammar ¡Structure ¡ ¡ ¡ Learning ¡a ¡Probabilis%c ¡Grammar ¡ ¡ ¡ Scene ¡Parsing ¡ ¡ Results ¡

Probabilis%c ¡Grammar ¡ Labels ¡ ¡ ¡ ¡ Rules ¡ ¡ Probabili%es ¡

Labels ¡ Examples: ¡ bed, ¡night ¡table, ¡sleeping ¡area ¡

Rules ¡ Example: ¡ sleeping ¡area ¡ bed, ¡night ¡table ¡

Probabili%es ¡ Deriva%on ¡probabili%es ¡ ¡ Cardinality ¡probabili%es ¡ ¡ Geometry ¡probabili%es ¡ ¡ Spa%al ¡probabili%es ¡

Deriva%on ¡probability ¡ ¡ ¡ P nt 0.6 bed ¡ bed ¡frame, ¡mabress ¡ P = 0.4 P = 0.6

Cardinality ¡probability ¡ P card sleeping ¡area ¡ bed, ¡night ¡table ¡ 1 ¡ 1 ¡ 0.5 ¡ 0.5 ¡ 0 ¡ 0 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4+ ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4+ ¡ P card ( bed | sleepingarea ) P card ( nighttable | sleepingarea )

Geometry ¡probability ¡ P g y x P g ( x | bedframe ) > P g ( y | bedframe )

Spa%al ¡probability ¡ P s x z y P s ( x , y | desk , chair , studyarea ) > P s ( z , y | desk , chair , studyarea )

Overview ¡ Grammar ¡Structure ¡ ¡ ¡ Learning ¡a ¡Probabilis%c ¡Grammar ¡ ¡ ¡ Scene ¡Parsing ¡ ¡ Results ¡

Pipeline ¡ Probabilis%c ¡ grammar ¡

Learning ¡a ¡Probabilis%c ¡Grammar ¡ Iden%fy ¡objects ¡ Speed ¡X ¡5 ¡

Learning ¡a ¡Probabilis%c ¡Grammar ¡ Label ¡objects ¡ Speed ¡X ¡5 ¡

Learning ¡a ¡Probabilis%c ¡Grammar ¡ Group ¡objects ¡ Speed ¡X ¡5 ¡

Learning ¡a ¡Probabilis%c ¡Grammar ¡ Grammar ¡genera%on ¡ ¡Labels ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡all ¡unique ¡labels ¡ ¡Rules ¡ ¡ ¡ ¡ ¡ ¡Probabili%es ¡ ¡

Learning ¡a ¡Probabilis%c ¡Grammar ¡ Grammar ¡genera%on ¡ ¡Labels ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Rules ¡ ¡ ¡ ¡ ¡ ¡ ¡concatena%ng ¡all ¡children ¡for ¡each ¡label ¡ ¡Probabili%es ¡ ¡ Training ¡example ¡1: ¡ Training ¡example ¡2: ¡ Nightstand ¡& ¡ Nightstand ¡& ¡ supported ¡ supported ¡ Nightstand ¡ Plant ¡ Nightstand ¡ Table ¡lamp ¡ Nightstand ¡& ¡ Plant ¡ Nightstand ¡ Table ¡lamp ¡ supported ¡

Learning ¡a ¡Probabilis%c ¡Grammar ¡ Grammar ¡genera%on ¡ ¡Labels ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Rules ¡ ¡ ¡ ¡ ¡Probabili%es ¡ ¡ : ¡learning ¡from ¡occurrence ¡sta%s%cs ¡ P nt , P card : ¡es%ma%ng ¡Gaussian ¡kernels ¡ P g : ¡kernel ¡density ¡es%ma%on ¡ ¡ P s

Overview ¡ Grammar ¡Structure ¡ ¡ ¡ Learning ¡a ¡Probabilis%c ¡Grammar ¡ ¡ Scene ¡Parsing ¡ ¡ Results ¡

Pipeline ¡ Probabilis%c ¡ grammar ¡

Pipeline ¡ Probabilis%c ¡ grammar ¡

Scene ¡parsing ¡ Objec%ve ¡func%on ¡ ¡ H * = argmax H P ( H | S , G ) ¡ • ¡ ¡ ¡ ¡ ¡ ¡is ¡the ¡unknown ¡hierarchy ¡ H • ¡ ¡ ¡ ¡ ¡ ¡is ¡the ¡input ¡scene ¡ S • ¡ ¡ ¡ ¡ ¡ ¡is ¡the ¡probabilis%c ¡grammar ¡ G ¡

Scene ¡parsing ¡ Ader ¡applying ¡Bayes’ ¡rule ¡ ¡ H * = argmax H P ( H | G ) P ( S | H , G ) ¡

Scene ¡parsing ¡ Ader ¡applying ¡Bayes’ ¡rule ¡ ¡ H * = argmax H P ( H | G ) P ( S | H , G ) P ( H | G ) ¡ Prior ¡of ¡hierarchy ¡ ∏ prod ( x ) T ( x ) P ( H | G ) = P x ∈ H

Scene ¡parsing ¡ Ader ¡applying ¡Bayes’ ¡rule ¡ ¡ H * = argmax H P ( H | G ) P ( S | H , G ) P ( H | G ) ¡ Prior ¡of ¡hierarchy ¡ ∏ P prod ( x ) T ( x ) P ( H | G ) = P prod ( x ) x ∈ H : ¡probability ¡of ¡a ¡single ¡deriva%on ¡ P prod ( x ) formulated ¡using ¡ ¡ P nt , P card

Scene ¡parsing ¡ Ader ¡applying ¡Bayes’ ¡rule ¡ ¡ H * = argmax H P ( H | G ) P ( S | H , G ) P ( H | G ) ¡ Prior ¡of ¡hierarchy ¡ T ( x ) ∏ prod ( x ) T ( x ) P ( H | G ) = P x ∈ H compensates ¡for ¡decreasing ¡probability ¡as ¡ ¡ ¡ ¡ ¡ ¡ ¡has ¡ H T ( x ) more ¡internal ¡nodes. ¡ ¡

Scene ¡parsing ¡ Ader ¡applying ¡Bayes’ ¡rule ¡ ¡ H * = argmax H P ( H | G ) P ( S | H , G ) P ( S | H , G ) ¡ Likelihood ¡of ¡scene ¡ ∏ g ( x ) T ( x ) P * ( x ) T ( x ) P ( S | H , G ) = P s x ∈ H

Scene ¡parsing ¡ Ader ¡applying ¡Bayes’ ¡rule ¡ ¡ H * = argmax H P ( H | G ) P ( S | H , G ) P ( S | H , G ) ¡ Likelihood ¡of ¡scene ¡ ∏ P g ( x ) T ( x ) P * ( x ) T ( x ) P ( S | H , G ) = P g ( x ) s x ∈ H g ( x ) : ¡geometry ¡probability ¡ ¡ P

Scene ¡parsing ¡ Ader ¡applying ¡Bayes’ ¡rule ¡ ¡ H * = argmax H P ( H | G ) P ( S | H , G ) P ( S | H , G ) ¡ Likelihood ¡of ¡scene ¡ ∏ g ( x ) T ( x ) P * ( x ) * ( x ) T ( x ) P ( S | H , G ) = P P s s x ∈ H : ¡sum ¡of ¡all ¡pairwise ¡spa%al ¡probabili%es ¡ * ( x ) P s ( x ) P s

Scene ¡parsing ¡ We ¡work ¡in ¡the ¡nega%ve ¡logarithm ¡space ¡ ¡ E ( H ) = log P ( H | G ) P ( S | H , G ) ¡ ( ) ∑ * ( x ) T ( x )log P prod ( x ) P g ( x ) P = − s x ∈ H

Scene ¡parsing ¡ Rewrite ¡the ¡objec%ve ¡func%on ¡recursively ¡ E ( H ) = E ( R ) ¡ ∑ E ( x ) = E ( x ) + E ( y ) ¡ y ∈ x . children where ¡ ¡ ¡ ¡ ¡ ¡is ¡the ¡root ¡of ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡ ¡ ¡ ¡is ¡the ¡energy ¡of ¡a ¡sub-­‑tree. ¡ ¡ R H E E ( x ) E ( x ) X ¡ X ¡