Probabilis)c Reasoning for Assembly-Based 3D Modeling - PowerPoint PPT Presentation

Probabilis)c ¡Reasoning ¡for ¡ ¡ Assembly-­‑Based ¡3D ¡Modeling ¡ Siddhartha ¡Chaudhuri, ¡Evangelos ¡Kalogerakis, ¡ ¡ Leonidas ¡Guibas, ¡Vladlen ¡Koltun ¡ ¡ Stanford ¡University ¡

Crea)ng ¡detailed ¡3D ¡content ¡is ¡hard ¡

Probabilis)c ¡model ¡for ¡presen)ng ¡relevant ¡components ¡ Observed data Inference Current Probabilistic model Ranked components shape

The ¡model ¡is ¡learned ¡from ¡an ¡input ¡shape ¡repository ¡ Learning Input repository Probabilistic model

Related ¡work: ¡assembly-­‑based ¡3D ¡modeling ¡ Modeling ¡by ¡example ¡ [Funkhouser ¡ et ¡al. ¡2004] ¡ •

Related ¡work: ¡assembly-­‑based ¡3D ¡modeling ¡ Sketch-­‑based ¡retrieval ¡of ¡components ¡ • ¡ ¡ ¡ ¡ [Shin ¡and ¡Igarashi ¡2007] ¡ ¡ ¡ ¡ ¡ ¡ ¡& ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡[Lee ¡and ¡Funkhouser ¡2008] ¡ ¡

Related ¡work: ¡assembly-­‑based ¡3D ¡modeling ¡ Model ¡Composi)on ¡from ¡Interchangeable ¡Components ¡ ¡ ¡ ¡ ¡ • ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ [Kraevoy ¡et ¡al. ¡2007] ¡ ¡

Related ¡work: ¡Spore ¡ [Maxis ¡SoXware ¡2008] ¡

Related ¡work: ¡Data-­‑driven ¡sugges)ons ¡ Crea)vity ¡support ¡in ¡3D ¡modeling ¡ [Chaudhuri ¡and ¡Koltun ¡2010] ¡ ¡

Related ¡work: ¡Data-­‑driven ¡sugges)ons ¡ Crea)vity ¡support ¡in ¡3D ¡modeling ¡ [Chaudhuri ¡and ¡Koltun ¡2010] ¡ ¡

Related ¡work: ¡Data-­‑driven ¡sugges)ons ¡ Crea)vity ¡support ¡in ¡3D ¡modeling ¡ [Chaudhuri ¡and ¡Koltun ¡2010] ¡ ¡

Related ¡work: ¡Data-­‑driven ¡sugges)ons ¡ Crea)vity ¡support ¡in ¡3D ¡modeling ¡ [Chaudhuri ¡and ¡Koltun ¡2010] ¡ ¡

Related ¡work: ¡Data-­‑driven ¡sugges)ons ¡ Crea)vity ¡support ¡in ¡3D ¡modeling ¡ [Chaudhuri ¡and ¡Koltun ¡2010] ¡ ¡

Should ¡sugges)ons ¡be ¡agnos)c ¡to ¡ ¡ the ¡structure ¡of ¡shapes ¡being ¡modeled? ¡

Our ¡probabilis)c ¡model ¡ • ¡Represents ¡both ¡ seman&c ¡and ¡ geometric ¡rela)onships ¡ • ¡ Learned ¡automa&cally ¡ from ¡a ¡shape ¡database ¡ • ¡ Interac&ve ¡sugges&ons ¡ of ¡components ¡ • ¡ Increases ¡ relevance ¡of ¡presented ¡components ¡ ¡

Outline ¡ 1. Probabilis&c ¡model ¡defini&on ¡ 2. Learning ¡ 3. Inference ¡ 4. Results ¡

Our ¡probabilis)c ¡model: ¡ ¡a ¡Bayesian ¡Network ¡ X = { } x Shape ¡a]ributes ¡ Random variables i ¡ P ( X ) P x | parents x ( ) ( ) = ∏ Dependencies ¡ i i i between ¡a]ributes ¡ Represent with DAG ¡ x 1 ¡ P ( X ) P x P x ( ) ( | x P x ) ( | x ) ¡ = 1 2 1 3 1 x 2 ¡ x 3 ¡

Random ¡variables ¡ E l Existence ¡of ¡component ¡from ¡category ¡ l Arm(s) ¡ exist ¡ Torso(s) ¡ exist ¡

Random ¡variables ¡ N l Number ¡of ¡components ¡from ¡category ¡ l Arm(s) ¡ # ¡of ¡Arms ¡ exist ¡ Torso(s) ¡ exist ¡

Random ¡variables ¡ A l,l’ Adjacency ¡between ¡components ¡from ¡categories ¡ l ¡and ¡ l’ Arm(s) ¡ # ¡of ¡Arms ¡ exist ¡ Arm-­‑ Torso ¡ adjacency ¡ Torso(s) ¡ exist ¡

Random ¡variables ¡ R l,l’ Symmetry ¡rela)on ¡between ¡components ¡from ¡categories ¡ ¡ l ¡and ¡ l’ Arm(s) ¡ # ¡of ¡Arms ¡ exist ¡ Arm-­‑ Torso ¡ adjacency ¡ Arm-­‑ Torso ¡ Torso(s) ¡ symmetry ¡ exist ¡

Random ¡variables ¡ S s,l Existence ¡of ¡component ¡from ¡style ¡cluster ¡ s ¡of ¡category ¡ l ¡ Arm ¡style ¡1 ¡ Arm(s) ¡ exists ¡ # ¡of ¡Arms ¡ exist ¡ Arm ¡style ¡2 ¡ exists ¡ Arm-­‑ Torso ¡ Torso ¡style ¡ adjacency ¡ 1 ¡ Arm-­‑ exists ¡ Torso ¡ Torso ¡style ¡ Torso(s) ¡ symmetry ¡ 2 ¡ exist ¡ exists ¡

Dependencies ¡between ¡random ¡variables ¡ Arm ¡style ¡1 ¡ Arm(s) ¡ exists ¡ # ¡of ¡Arms ¡ exist ¡ Arm ¡style ¡2 ¡ exists ¡ Arm-­‑ Torso ¡ Torso ¡style ¡ adjacency ¡ 1 ¡ Arm-­‑ exists ¡ Torso ¡ Torso ¡style ¡ Torso(s) ¡ symmetry ¡ 2 ¡ exist ¡ exists ¡

Condi)onal ¡probability ¡tables ¡ R l 0 1 N l 2 1.0 0.7 Arm ¡style ¡1 ¡ Arm(s) ¡ exists ¡ 0.0 4 0.3 # ¡of ¡Arms ¡ exist ¡ Arm ¡style ¡2 ¡ exists ¡ Arm-­‑ Torso ¡ Torso ¡style ¡ adjacency ¡ 1 ¡ Arm-­‑ exists ¡ Torso ¡ Torso ¡style ¡ Torso(s) ¡ symmetry ¡ 2 ¡ exist ¡ exists ¡

Dependencies ¡between ¡random ¡variables ¡ Arm ¡style ¡1 ¡ Arm(s) ¡ exists ¡ # ¡of ¡Arms ¡ exist ¡ Arm ¡style ¡2 ¡ exists ¡ Arm-­‑ Torso ¡ Torso ¡style ¡ adjacency ¡ 1 ¡ Arm-­‑ exists ¡ Torso ¡ Torso ¡style ¡ Torso(s) ¡ symmetry ¡ 2 ¡ exist ¡ exists ¡

Outline ¡ 1. Probabilis)c ¡model ¡defini)on ¡ 2. Learning ¡ 3. Inference ¡ 4. Results ¡

Learning ¡the ¡CPTs ¡and ¡the ¡graph ¡structure ¡ [Kalogerakis et al. 2010] (modified)

Learning ¡the ¡CPTs ¡and ¡the ¡graph ¡structure ¡ Arm Arm cluster 1 cluster 2 [Kalogerakis et al. 2010] Torso Torso (modified) cluster 1 cluster 2

Learning ¡the ¡CPTs ¡and ¡the ¡graph ¡structure ¡ Arm Arm cluster 1 cluster 2 [Kalogerakis et al. 2010] Torso Torso (modified) cluster 1 cluster 2

Structure ¡and ¡parameter ¡learning ¡ Maximize ¡Bayesian ¡Informa)on ¡Criterion ¡ 1 BIC log P D G ( | , ) θ v log n = − 2

Structure ¡and ¡parameter ¡learning ¡ Maximize ¡Bayesian ¡Informa)on ¡Criterion ¡ 1 BIC log P D G ( | , ) θ v log n = − 2 Likelihood term D : training data G : graph structure θ : CPT entries

Structure ¡and ¡parameter ¡learning ¡ Maximize ¡Bayesian ¡Informa)on ¡Criterion ¡ 1 BIC log P D G ( | , ) θ v log n = − 2 Penalize model complexity v : # of independent CPT entries n : # of training shapes

Outline ¡ 1. Probabilis)c ¡model ¡defini)on ¡ 2. Learning ¡ 3. Inference ¡ 4. Results ¡

Inference ¡

Inference ¡ Evidence X e = e

Inference ¡ Evidence X e = e P( | X e = e ) ?

Inference ¡ Evidence X e = e P( X q = q | X e = e ) Particle-based inference

Outline ¡ 1. Probabilis)c ¡model ¡defini)on ¡ 2. Learning ¡ 3. Inference ¡ 4. Results ¡

Examples ¡of ¡shapes ¡created ¡by ¡users ¡

Evalua)on ¡ • 42 ¡par)cipants ¡from ¡the ¡Stanford ¡CS ¡student ¡body ¡ • Each ¡par)cipant ¡was ¡asked ¡to ¡create ¡2 ¡toys ¡and ¡2 ¡creatures ¡ • Three ¡condi)ons: ¡ ¡ – Dynamic ¡ordering ¡with ¡probabilis)c ¡model ¡ – Sta)c ¡ordering ¡of ¡categories ¡and ¡components ¡ – Dynamic ¡ordering ¡with ¡[Chaudhuri ¡and ¡Koltun ¡2010] ¡

Relevance ¡of ¡suggested ¡components ¡– ¡“Creatures” ¡task ¡ 68% ¡ 37% ¡ 25% ¡

Relevance ¡of ¡suggested ¡components ¡– ¡“Toy” ¡task ¡

Examples ¡of ¡shapes ¡created ¡by ¡users ¡

Summary ¡ • Probabilis)c ¡reasoning ¡for ¡presen)ng ¡components ¡in ¡ assembly-­‑based ¡3D ¡modeling ¡ • Probabilis)c ¡graphical ¡model ¡for ¡encoding ¡condi)onal ¡ dependencies ¡between ¡shape ¡components ¡ • Increases ¡the ¡relevance ¡of ¡suggested ¡components ¡

Future ¡Work ¡ • Be]er ¡modeling ¡of ¡ stylis&c , ¡spa&al ¡ and ¡func&onal ¡ rela)onships ¡ • Benefits ¡from ¡advances ¡in: ¡ – ¡consistent ¡shape ¡ segmenta&on ¡ ¡ – ¡ gluing ¡and ¡ cuMng ¡components ¡ – ¡ edi&ng ¡geometry ¡of ¡individual ¡components ¡

Thank ¡you! ¡ Acknowledgements: ¡ ¡Aaron ¡Hertzmann, ¡Sergey ¡Levine, ¡Suchi ¡Saria, ¡ ¡ Jonathan ¡Laserson, ¡Philipp ¡Krähenbühl, ¡ ¡Daphne ¡Koller, ¡ ¡ Chris ¡Platz, ¡Hadidjah ¡Chamberlin, ¡Niels ¡Joubert ¡ ¡ Our ¡project ¡web ¡page: ¡ h]p://graphics.stanford.edu/~sidch/projects/assembly/ ¡ ¡ ¡

BACKUP/OTHER ¡SLIDES ¡