Bayesian networks: basic setup Graphical structure: DAG 6 - PowerPoint PPT Presentation

UUvUG ¡ ¡ workshop ¡ Credal ¡networks ¡ an ¡overview ¡of ¡different ¡approaches ¡ Jasper ¡De ¡Bock ¡ 11 ¡June ¡2013 ¡

Bayesian ¡networks: ¡basic ¡setup ¡ § Graphical ¡structure: ¡DAG ¡ 6 ¡ ∀ ∈ ¡ ¡s ¡ ¡ ¡ ¡G: ¡P(s), ¡D(s), ¡N(s) ¡ 8 ¡ 5 ¡ 7 ¡ 4 ¡ 2 ¡ 3 ¡ 1 ¡

Bayesian ¡networks: ¡basic ¡setup ¡ § Graphical ¡structure: ¡DAG ¡ X 6 ¡ ∀ ∈ ¡ ¡s ¡ ¡ ¡ ¡G: ¡P(s), ¡D(s), ¡N(s) ¡ X 8 ¡ § Variables ¡X s ¡take ¡values ¡x s ¡in ¡ X 5 ¡ a ¡finite ¡non-­‑empty ¡set ¡ X s ¡ ¡ X 7 ¡ X 4 ¡ X 2 ¡ X 3 ¡ X 1 ¡

Bayesian ¡networks: ¡basic ¡setup ¡ § Graphical ¡structure: ¡DAG ¡ X 6 ¡ ∀ ∈ ¡ ¡s ¡ ¡ ¡ ¡G: ¡P(s), ¡D(s), ¡N(s) ¡ X 8 ¡ § Variables ¡X s ¡take ¡values ¡x s ¡in ¡ X 5 ¡ a ¡finite ¡non-­‑empty ¡set ¡ X s ¡ ¡ X 7 ¡ § Local ¡uncertainty ¡models: ¡ X 4 ¡ mass ¡funcRons ¡q(X s |x P(s) ) ¡ Example: ¡q(X 4 |x {2,3} ) ¡ ¡ X 2 ¡ X 3 ¡ X 1 ¡

Bayesian ¡networks: ¡basic ¡setup ¡ § Graphical ¡structure: ¡DAG ¡ X 6 ¡ ∀ ∈ ¡ ¡s ¡ ¡ ¡ ¡G: ¡P(s), ¡D(s), ¡N(s) ¡ X 8 ¡ § Variables ¡X s ¡take ¡values ¡x s ¡in ¡ X 5 ¡ a ¡finite ¡non-­‑empty ¡set ¡ X s ¡ ¡ X 7 ¡ § Local ¡uncertainty ¡models: ¡ X 4 ¡ mass ¡funcRons ¡q(X s |x P(s) ) ¡ § Independence ¡assumpRons: ¡ X 2 ¡ ∀ s ¡ ¡ ¡ ¡G: ¡I(N(s), ¡s|P(s)) ¡ ∈ X 3 ¡ X 1 ¡

Bayesian ¡networks: ¡joint ¡model ¡ p(X G ) ¡ ? ¡ § Graphical ¡structure: ¡DAG ¡ X 6 ¡ ∀ ∈ ¡ ¡s ¡ ¡ ¡ ¡G: ¡P(s), ¡D(s), ¡N(s) ¡ X 8 ¡ § Variables ¡X s ¡take ¡values ¡x s ¡in ¡ X 5 ¡ a ¡finite ¡non-­‑empty ¡set ¡ X s ¡ ¡ X 7 ¡ § Local ¡uncertainty ¡models: ¡ X 4 ¡ mass ¡funcRons ¡q(X s |x P(s) ) ¡ § Independence ¡assumpRons: ¡ X 2 ¡ ∀ s ¡ ¡ ¡ ¡G: ¡I(N(s), ¡s|P(s)) ¡ ∈ X 3 ¡ X 1 ¡

? ¡ Bayesian ¡networks: ¡joint ¡model ¡ p(X G ) ¡ p(x s |x P(s) ,x N(s) ) ¡ ¡= ¡ ¡p(x s |x P(s) ) ¡ ¡ ¡ X 6 ¡ X 8 ¡ EQUIVALENT ¡ X 5 ¡ p(x N(s) |x P(s) ,x s ) ¡ ¡= ¡ ¡p(x N(s) |x P(s) ) ¡ ¡ ¡ X 7 ¡ X 4 ¡ § Independence ¡assumpRons: ¡ X 2 ¡ ∀ s ¡ ¡ ¡ ¡G: ¡I(N(s), ¡s|P(s)) ¡ ∈ X 3 ¡ X 1 ¡

? ¡ Bayesian ¡networks: ¡joint ¡model ¡ p(X G ) ¡ p(x s |x P(s) ,x N(s) ) ¡ ¡= ¡ ¡p(x s |x P(s) ) ¡ ¡ ¡ X 6 ¡ X 8 ¡ EQUIVALENT ¡ X 5 ¡ p(x N(s) |x P(s) ,x s ) ¡ ¡= ¡ ¡p(x N(s) |x P(s) ) ¡ ¡ ¡ X 7 ¡ § Local ¡uncertainty ¡models: ¡ X 4 ¡ mass ¡funcRons ¡q(X s |x P(s) ) ¡ § Independence ¡assumpRons: ¡ X 2 ¡ ∀ s ¡ ¡ ¡ ¡G: ¡I(N(s), ¡s|P(s)) ¡ ∈ X 3 ¡ X 1 ¡

? ¡ Bayesian ¡networks: ¡joint ¡model ¡ p(X G ) ¡ p(x s |x P(s) ,x N(s) ) ¡ ¡= ¡ ¡p(x s |x P(s) ) ¡ ¡ ¡ X 6 ¡ X 8 ¡ = ¡ = ¡ ¡q(x s |x P(s) ) ¡ ¡ ¡ X 5 ¡ X 7 ¡ § Local ¡uncertainty ¡models: ¡ X 4 ¡ mass ¡funcRons ¡q(X s |x P(s) ) ¡ § Independence ¡assumpRons: ¡ X 2 ¡ ∀ s ¡ ¡ ¡ ¡G: ¡I(N(s), ¡s|P(s)) ¡ ∈ X 3 ¡ X 1 ¡

Bayesian ¡networks: ¡joint ¡model ¡ p(X G ) ¡ p(x s |x P(s) ,x N(s) ) ¡ ¡= ¡ ¡p(x s |x P(s) ) ¡ ¡ ¡ X 6 ¡ X 8 ¡ = ¡ = ¡ ¡q(x s |x P(s) ) ¡ ¡ ¡ X 5 ¡ X 7 ¡ X 4 ¡ ∏ p(x G )= ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡q(x s |x P(s) ) ¡ ∈ s ¡ ¡ ¡G ¡ X 2 ¡ X 3 ¡ X 1 ¡

Credal ¡networks: ¡basic ¡setup ¡ § Graphical ¡structure: ¡DAG ¡ X 6 ¡ ∀ ∈ ¡ ¡s ¡ ¡ ¡ ¡G: ¡P(s), ¡D(s), ¡N(s) ¡ X 8 ¡ § Variables ¡X s ¡take ¡values ¡x s ¡in ¡ a ¡finite ¡non-­‑empty ¡set ¡ X s ¡ ¡ X 5 ¡ § Local ¡uncertainty ¡models: ¡ credal ¡sets ¡ M (X s |x P(s) ) ¡ ? ¡ X 7 ¡ X 4 ¡ Closed ¡and ¡convex ¡set ¡of ¡ mass ¡funcRons ¡q(X s |x P(s) ) ¡ § ? ¡Independence ¡assump>ons ¡? ¡ X 2 ¡ ∀ s ¡ ¡ ¡ ¡G: ¡ ?I? (N(s), ¡s|P(s)) ¡ ∈ X 3 ¡ X 1 ¡

? ¡ Credal ¡networks: ¡joint ¡model ¡ M (X G ) ¡ § Graphical ¡structure: ¡DAG ¡ X 6 ¡ ∀ ∈ ¡ ¡s ¡ ¡ ¡ ¡G: ¡P(s), ¡D(s), ¡N(s) ¡ X 8 ¡ § Variables ¡X s ¡take ¡values ¡x s ¡in ¡ a ¡finite ¡non-­‑empty ¡set ¡ X s ¡ ¡ X 5 ¡ § Local ¡uncertainty ¡models: ¡ credal ¡sets ¡ M (X s |x P(s) ) ¡ ? ¡ X 7 ¡ X 4 ¡ Closed ¡and ¡convex ¡set ¡of ¡ mass ¡funcRons ¡q(X s |x P(s) ) ¡ § ? ¡Independence ¡assump>ons ¡? ¡ X 2 ¡ ∀ s ¡ ¡ ¡ ¡G: ¡ ?I? (N(s), ¡s|P(s)) ¡ ∈ X 3 ¡ X 1 ¡

? ¡ Credal ¡networks: ¡joint ¡model ¡ M (X G ) ¡ CondiRoning: ¡ X 6 ¡ sM (X G ) ¡ X 8 ¡ X 5 ¡ X 7 ¡ sM (X s |x P(s) ) ¡ ¡ X 4 ¡ ¡ ¡ ¡ ¡ ¡= ¡{p(X s |x P(s) ): ¡p(X G ) ¡ ¡ ¡ ¡ M (X G )} ¡ ¡ ¡ ¡ ¡ ∈ X 2 ¡ X 3 ¡ X 1 ¡

? ¡ Credal ¡networks: ¡joint ¡model ¡ M (X G ) ¡ CondiRoning: ¡ X 6 ¡ sM (X G ) ¡ ¡ X 8 ¡ X 5 ¡ Given ¡local ¡ credal ¡set ¡ X 7 ¡ sM (X s |x P(s) ) ¡ ¡ X 4 ¡ ¡ ¡ ¡ ¡ ¡= ¡{p(X s |x P(s) ): ¡p(X G ) ¡ ¡ ¡ ¡ M (X G )} ¡ ¡ ¡ ¡ ¡ ∈ X 2 ¡ X 3 ¡ X 1 ¡

? ¡ Credal ¡networks: ¡joint ¡model ¡ M (X G ) ¡ ? ¡Independence ¡assump>ons ¡? ¡ X 6 ¡ § Strong ¡independence ¡ X 8 ¡ § Epistemic ¡irrelevance ¡ X 5 ¡ § Epistemic ¡independence ¡ X 7 ¡ X 4 ¡ X 2 ¡ X 3 ¡ X 1 ¡

? ¡ Credal ¡networks: ¡joint ¡model ¡ M (X G ) ¡ ? ¡Independence ¡assump>ons ¡? ¡ X 6 ¡ § Strong ¡independence ¡ X 8 ¡ § Epistemic ¡irrelevance ¡ X 5 ¡ § Epistemic ¡independence ¡ X 7 ¡ X 4 ¡ X 2 ¡ X 3 ¡ X 1 ¡

Credal ¡networks: ¡joint ¡model ¡ M (X G ) ¡ ? ¡ Strong ¡independence ¡ X 6 ¡ X 8 ¡ ∀ s ¡ ¡ ¡ ¡G: ¡ SI (N(s), ¡s|P(s)) ¡ ∈ X 5 ¡ f M (X G ) ¡is ¡the ¡convex ¡hull ¡of ¡ ¡ X 7 ¡ X 4 ¡ ka ¡set ¡of ¡mass ¡funcRons ¡p(X G ) ¡ kthat ¡saRsfy ¡the ¡usual ¡ kindependence ¡assumpRon: ¡ X 2 ¡ ∀ s ¡ ¡ ¡ ¡G: ¡I(N(s), ¡s|P(s)) ¡ ∈ X 3 ¡ X 1 ¡

Credal ¡networks: ¡joint ¡model ¡ M (X G ) ¡ ? ¡ Strong ¡independence ¡ X 6 ¡ X 8 ¡ ∀ s ¡ ¡ ¡ ¡G: ¡ SI (N(s), ¡s|P(s)) ¡ ∈ + ¡ X 5 ¡ Local ¡models ¡ M (X s |x P(s) ) ¡ ¡ not ¡unique! ¡ X 7 ¡ X 4 ¡ f M (X G ) ¡ ¡ X 2 ¡ X 3 ¡ X 1 ¡

Credal ¡networks: ¡joint ¡model ¡ M str (X G ) ¡ ? ¡ Strong ¡independence ¡ X 6 ¡ X 8 ¡ ∀ s ¡ ¡ ¡ ¡G: ¡ SI (N(s), ¡s|P(s)) ¡ ∈ + ¡ X 5 ¡ Local ¡models ¡ M (X s |x P(s) ) ¡ ¡ largest ¡soluRon! ¡ X 7 ¡ X 4 ¡ The ¡strong ¡extension fM str (X G ) ¡ ? ¡ X 2 ¡ X 3 ¡ X 1 ¡

Credal ¡networks: ¡joint ¡model ¡ M str (X G ) ¡ Strong ¡independence ¡ X 6 ¡ X 8 ¡ ∀ s ¡ ¡ ¡ ¡G: ¡ SI (N(s), ¡s|P(s)) ¡ ∈ + ¡ X 5 ¡ Local ¡models ¡ M (X s |x P(s) ) ¡ ¡ largest ¡soluRon! ¡ X 7 ¡ X 4 ¡ The ¡strong ¡extension fM str (X G ) ¡is ¡the ¡ convex ¡hull ¡of ¡those ¡p(X G ) ¡for ¡which ¡ ¡ ∏ p(x G )= ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡q(x s |x P(s) ) ¡ X 2 ¡ ∈ s ¡ ¡ ¡G ¡ X 3 ¡ X 1 ¡ sM (X s |x P(s) ) ¡ ¡

? ¡ Credal ¡networks: ¡joint ¡model ¡ M (X G ) ¡ ? ¡Independence ¡assump>ons ¡? ¡ X 6 ¡ § Strong ¡independence ¡ X 8 ¡ § Epistemic ¡irrelevance ¡ X 5 ¡ § Epistemic ¡independence ¡ X 7 ¡ X 4 ¡ X 2 ¡ X 3 ¡ X 1 ¡

Credal ¡networks: ¡joint ¡model ¡ M (X G ) ¡ ? ¡ Epistemic ¡irrelevance ¡ X 6 ¡ X 8 ¡ ∀ s ¡ ¡ ¡ ¡G: ¡ IR (N(s), ¡s|P(s)) ¡ ∈ X 5 ¡ f M (X s |x P(s) ,x N(s) ) ¡= sM (X s |x P(s) ) ¡ ¡ X 7 ¡ X 4 ¡ X 2 ¡ X 3 ¡ X 1 ¡

Credal ¡networks: ¡joint ¡model ¡ M (X G ) ¡ ? ¡ Epistemic ¡irrelevance ¡ X 6 ¡ X 8 ¡ ∀ s ¡ ¡ ¡ ¡G: ¡ IR (N(s), ¡s|P(s)) ¡ ∈ + ¡ ¡local ¡credal ¡set ¡ ¡ X 5 ¡ f M (X s |x P(s) ,x N(s) ) ¡= sM (X s |x P(s) ) ¡ ¡ X 7 ¡ not ¡unique! ¡ X 4 ¡ f M (X G ) ¡ ¡ X 2 ¡ X 3 ¡ X 1 ¡