Inference Probabilis7c Graphical Models: Marginal and - PowerPoint PPT Presentation

Logic ¡and ¡Probability ¡ The ¡Computa7onal ¡Connec7on ¡ Adnan ¡Darwiche ¡ UCLA ¡ Deduc7on ¡at ¡Scale ¡Seminar, ¡March, ¡2011 ¡

Inference ¡ • Probabilis7c ¡Graphical ¡Models: ¡ Marginal ¡and ¡condi,onal ¡probabili,es ¡ Most ¡likely ¡instan,a,ons… ¡ • Proposi7onal ¡Knowledge ¡Bases: ¡ Logical ¡entailment ¡ Existen,al ¡quan,fica,on ¡ Model ¡coun,ng… ¡

Two ¡Main ¡Themes ¡ • Exact ¡inference ¡as: ¡ ¡ Enforcing ¡decomposability ¡and ¡determinism ¡on ¡ proposi,onal ¡knowledge ¡bases ¡ • Approximate ¡inference ¡as: ¡ Relaxing, ¡compensa,ng ¡for, ¡and ¡recovering ¡ equivalence ¡constraints ¡(equali,es) ¡

Knowledge ¡Compila7on ¡ ( ¬ A v B v C) (A v ¬ D v E) Compiled (B v C v ¬ F) Compiler Structure ( ¬ B v A v F) … Evaluator Queries (Polytime)

Knowledge ¡Compila7on ¡ Subsets ¡of ¡NNF ¡ or ( ¬ A v B v C) and and (A v ¬ D v E) or or or or (B v C v ¬ F) Compiler and and and and and and and and ( ¬ B v A v F) … ¬ A B ¬ B A C ¬ D D ¬ C Evaluator Queries (Polytime)

Nega7on ¡Normal ¡Form ¡ or and and or or or or and and and and and and and and ¬ A B ¬ B A C ¬ D D ¬ C rooted DAG (Circuit)

Decomposability ¡(DNNF) ¡ No ¡two ¡children ¡of ¡AND ¡ or share ¡a ¡variable ¡ and and A,B C,D or or or or and and and and and and and and ¬ A B ¬ B A C ¬ D D ¬ C

Determinism ¡(d-­‑DNNF) ¡ Every ¡pair ¡of ¡children ¡of ¡or-­‑ node ¡are ¡inconsistent ¡ or (mutually ¡exclusive) ¡ and and or or or or and and and and and and and and ¬ A B ¬ B A C ¬ D D ¬ C

OBDD: ¡ ¡ d-­‑DNNF ¡+ ¡Addi7onal ¡Proper7es ¡ A High ¡child ¡ Low ¡child ¡ (A=true) ¡ (A=false) ¡ B C D E F OBDD ¡(tradi,onal ¡form) ¡ OBDD ¡(NNF) ¡

Queries ¡and ¡Transforma7ons ¡ • Queries ¡ SAT, ¡MAXSAT, ¡logical ¡entailment, ¡equivalence ¡tes,ng, ¡ model ¡coun,ng,… ¡ • Transforma7ons: ¡ Existen,al ¡quan,fica,on, ¡conjunc,on, ¡disjunc,on, ¡ nega,on… ¡ • More ¡proper,es ¡imply ¡more ¡poly,me ¡queries ¡and ¡ transforma,ons, ¡but ¡less ¡succinctness ¡

Coun7ng ¡Models ¡(d-­‑DNNF) ¡ or and and or or or or and and and and and and and and ¬ A B ¬ B A C ¬ D D ¬ C

Coun7ng ¡Graph ¡ + * * + + + + * * * * * * * * ¬ A B ¬ B A C ¬ D D ¬ C

Coun7ng ¡Graph ¡ 2 ¡ S={A, ¡ ¬ ¡B} ¡ + 2 ¡ 0 ¡ * * 2 ¡ 1 ¡ 1 ¡ ¡0 ¡ + + + + 0 ¡ 1 ¡ 1 ¡ 0 ¡ 1 ¡ 0 ¡ 1 ¡ 1 ¡ * * * * * * * * 0 ¡ 1 ¡ 1 ¡ 0 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ ¬ A B ¬ B A C ¬ D D ¬ C

Probabilis7c ¡Inference ¡by ¡ Weighted ¡Model ¡Coun7ng ¡ A ¡ B ¡ C ¡ Pr(.) ¡ T ¡ T ¡ T ¡ θ C | A T ¡ T ¡ F ¡ C ¡ θ A T ¡ F ¡ T ¡ A ¡ θ B | A T ¡ F ¡ F ¡ B ¡ F ¡ T ¡ T ¡ F ¡ T ¡ F ¡ F ¡ F ¡ T ¡ F ¡ F ¡ F ¡

Probabilis7c ¡Inference ¡by ¡ Weighted ¡Model ¡Coun7ng ¡ A ¡ B ¡ C ¡ Pr(.) ¡ T ¡ T ¡ T ¡ T ¡ T ¡ F ¡ C ¡ T ¡ F ¡ T ¡ A ¡ T ¡ F ¡ F ¡ B ¡ F ¡ T ¡ T ¡ F ¡ T ¡ F ¡ F ¡ F ¡ T ¡ F ¡ F ¡ F ¡ .3 ¡ .6 ¡ .8 ¡ ¡1 ¡ 1 ¡

Weighted ¡Model ¡Coun7ng ¡ (Arithme7c ¡Circuits) ¡ .3 + .3 0 * * 1 1 + + .3 .1 .9 .8 .2 0 * * * * * * .3 1 .1 1 .9 .8 1 .2 0 .7

Why ¡Logic? ¡ • Encoding ¡local ¡structure ¡is ¡easy: ¡ – Zero-­‑parameters ¡encoded ¡by ¡adding ¡clauses: ¡ θ C | A = 0 – Context-­‑specific ¡independence ¡encoded ¡by ¡collapsing ¡ variables: ¡

Ace: compile BNs to ACs http://reasoning.cs.ucla.edu/ace/ • Rela,onal ¡networks ¡(251 ¡networks) ¡ • Average ¡clique ¡size ¡is ¡50 ¡

Alchemy ¡is ¡a ¡so\ware ¡package ¡providing ¡a ¡series ¡of ¡algorithms ¡for ¡sta7s7cal ¡rela7onal ¡ learning ¡and ¡probabilis7c ¡logic ¡inference, ¡based ¡on ¡Markov ¡logic ¡representa7ons. ¡

Current ¡Challenges ¡ • Incremental ¡compila7on: ¡ ¡ – What? ¡Current ¡compilers ¡monolithic: ¡c2d ¡(UCLA) ¡and ¡DSharp ¡(Toronto) ¡ – Need: ¡ • Logic: ¡planning ¡and ¡verifica,on ¡applica,ons ¡ • Probability: ¡approximate ¡inference ¡ – Main ¡insight: ¡ ¡ • Structured ¡decomposability ¡& ¡vtrees ¡(AAAI-­‑08, ¡AAAI-­‑10) ¡ • Guarantees ¡and ¡Complexity ¡results: ¡ ¡ – Upper ¡& ¡lower ¡bounds ¡on ¡size ¡of ¡compila,on ¡(AAAI-­‑10, ¡ECAI-­‑10) ¡ – Main ¡insights: ¡ • The ¡no,on ¡of ¡a ¡decomposi,on ¡(AAAI-­‑10) ¡ • The ¡no,on ¡of ¡an ¡interac,on ¡func,on ¡(ECAI-­‑10) ¡

Structured ¡Decomposability ¡ vtree T DNNF respects T or and and A,B,C A,C D,E D,E A ¡ E ¡ D ¡ or or or and B ¡ C ¡ Full ¡binary ¡tree ¡ with ¡leaves ¡ A and ¬A E ¬D D corresponding ¡ to ¡variables ¡ B C

OBDD: ¡DNNF ¡that ¡Respects ¡Linear ¡vtree ¡ A High ¡child ¡ Low ¡child ¡ (A=true) ¡ (A=false) ¡ B C D E F Linear ¡vtree ¡ ¡ OBDD ¡(tradi,onal ¡form) ¡ OBDD ¡(NNF) ¡

Decomposi7on ¡of ¡Boolean ¡Func7ons ¡(AAAI-­‑10) ¡ • Examples: ¡f ¡= ¡ (X 1 ∨ X 2 ) ∧ (Y 1 ∨ X 2 ) ∧ (X 1 ∨ Y 2 ) ∧ (Y 1 ∨ Y 2 ) ∨ (X 2 ∧ Y 3 ) ¡ – X ={X 1 , ¡X 2 }, ¡ Y ={Y 1 , ¡Y 2 ¡, ¡Y 3 }: ¡ f( X,Y ) ¡= ¡g( X ) ¡ ∧ ¡h( Y ) ¡ f( X,Y ) ¡= ¡ ¡ ¡ ¡f 1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ∨ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡f 2 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ∨ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡f 3 ¡ ¡ ¡ ¡ ¡ ¡ ∨ ¡ ¡ ¡ ¡… ¡ ¡ ¡ ¡ ∨ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡f m ¡ g 1 ( X ) ¡ ∧ ¡h 1 ( Y ) ¡ g 2 ( X ) ¡ ∧ ¡h 2 ( Y ) ¡ g 3 ( X ) ¡ ∧ ¡h 3 ( Y ) ¡ g m ( X ) ¡ ∧ ¡h m ( Y ) ¡ ( X,Y )-­‑decomposi,on ¡of ¡ f ¡

Lower ¡Bounds ¡(AAAI-­‑10) ¡ ( ¬ E ∨ ¬ F) ¡ ∧ ¡( ¬ A ∧ ¬ B) ¡ ∨ ¡ Vtree DNNF (D ¡ ∧ E) ∧ (F ∧ G) ¡ ∧ ¡((A ∧ (B ∨ ¡C)) ¡ ∨ ¡ ¬ A) ¡ ∨ ¡ (F ∧ G) ¡ ∧ ¡( ¬ A ∨ ( ¬ B ∧ ¬ C)) ¡ ( X,Y )-­‑decomposi,on ¡of ¡ the ¡func,on ¡represented ¡ by ¡DNNF ¡ v ¡ Y ¡ X ¡

The ¡Interac7on ¡Func7on ¡(ECAI-­‑10) ¡ f( X , Y ) ¡= ¡ ¡ g( X ) ¡ ¡ ∧ ¡ h( Y ) ¡ ¡ ∧ ¡ I( X , Y ) ¡ ¡ Captures ¡precisely ¡ Captures ¡precisely ¡ Captures ¡precisely ¡ knowledge ¡about ¡ knowledge ¡about ¡ interac,on ¡between ¡ ¡ variables ¡in ¡ X ¡ variables ¡in ¡ Y ¡ variables ¡ X ¡and ¡ Y ¡ f ¡ ∨ ¡ ¬ ( ∃ X ¡ f) ¡ ∨ ¡ ¬ ( ∃ Y ¡ f) ¡ ∃ Y ¡ f ¡ ∃ X ¡ f ¡

The ¡Interac7on ¡Func7on ¡(ECAI-­‑10) ¡ f( X , Y ) ¡= ¡ ¡ g( X ) ¡ ¡ ∧ ¡ h( Y ) ¡ ¡ ∧ ¡ I( X , Y ) ¡ ¡ Captures ¡precisely ¡ Captures ¡precisely ¡ Captures ¡precisely ¡ knowledge ¡about ¡ knowledge ¡about ¡ interac,on ¡between ¡ ¡ variables ¡in ¡ X ¡ variables ¡in ¡ Y ¡ variables ¡ X ¡and ¡ Y ¡ ∃ Y ¡ f ¡ ∃ X ¡ f ¡ ¡ ¡A ¡=> ¡(C ¡=> ¡B) ¡ ¬ A ¡=> ¡(B ¡=> ¡C) ¡ ¡ true ¡ ¡ (B ¡v ¡C) ¡ ¡ (A ¡=> ¡B) ¡( ¬ A ¡=> ¡C) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ X ={A} ¡ ¡ Y ={B,C} ¡

Current ¡Research ¡ • Searching ¡for ¡good ¡vtrees ¡(on-­‑going) ¡ • Characterizing ¡and ¡searching ¡for ¡op,mal ¡decomposi,ons ¡ • Upper ¡and ¡lower ¡bounds ¡on ¡size ¡of ¡DNNF ¡ • Key ¡objec,ve: ¡incremental ¡compiler ¡for ¡DNNF ¡and ¡d-­‑DNNF ¡ • ??? ¡

Two ¡Main ¡Themes ¡ • Exact ¡inference ¡as: ¡ ¡ Enforcing ¡decomposability ¡and ¡determinism ¡on ¡ proposi,onal ¡knowledge ¡bases ¡ • Approximate ¡inference ¡as: ¡ Relaxing, ¡compensa,ng ¡for, ¡and ¡recovering ¡ equivalence ¡constraints ¡(equali,es) ¡

http://reasoning.cs.ucla.edu/samiam/

http://reasoning.cs.ucla.edu