state sequence predic on in imprecise hidden markov models
play

State sequence predic/on in imprecise hidden Markov models - PowerPoint PPT Presentation

State sequence predic/on in imprecise hidden Markov models Jasper De Bock & Gert de Cooman BENE@WORK 7 December 2011 Jasper De Bock


  1. State ¡sequence ¡predic/on ¡in ¡ imprecise ¡hidden ¡Markov ¡models ¡ Jasper ¡De ¡Bock ¡ ¡ & ¡ ¡Gert ¡de ¡Cooman ¡ ¡ BENE@WORK ¡ ¡ ¡ 7 ¡December ¡2011 ¡

  2. Jasper ¡De ¡Bock ¡ ¡ & ¡ ¡Gert ¡de ¡Cooman ¡ ¡ ¡ ¡

  3. Jasper ¡De ¡Bock ¡ ¡ & ¡ ¡Gert ¡de ¡Cooman ¡ ¡ ¡ ¡

  4. Research ¡group ¡ SYSTeMS ¡ Jasper ¡De ¡Bock ¡ ¡ Gert ¡de ¡Cooman ¡

  5. Research ¡group ¡ SYSTeMS ¡ Jasper ¡De ¡Bock ¡ ¡ Gert ¡de ¡Cooman ¡ Filip ¡Hermans ¡ Erik ¡Quaeghebeur ¡ Keivan ¡Shariatmadar ¡ Arthur ¡Van ¡Camp ¡

  6. State ¡sequence ¡predic/on ¡in ¡ imprecise ¡hidden ¡Markov ¡models ¡ Jasper ¡De ¡Bock ¡ 6 ¡ BENE@WORK ¡

  7. State ¡sequence ¡predic/on ¡in ¡ imprecise ¡hidden ¡Markov ¡models ¡ Jasper ¡De ¡Bock ¡ 7 ¡ BENE@WORK ¡

  8. (Precise) ¡hidden ¡Markov ¡model ¡ A ¡sequence ¡of ¡hidden ¡state ¡variables ¡ X 2 ¡ X 3 ¡ X 1 ¡ O 1 ¡ O 2 ¡ O 3 ¡ S 1 ¡(O 1 |X 1 ) ¡ ¡ S 2 ¡(O 2 |X 2 ) ¡ ¡ S 3 ¡(O 3 |X 3 ) ¡ ¡ A ¡sequence ¡of ¡observable ¡variables ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 8 ¡ 8 ¡ BENE@WORK ¡

  9. (Precise) ¡hidden ¡Markov ¡model ¡ A ¡sequence ¡of ¡hidden ¡state ¡variables ¡ X ¡= ¡ or ¡ or ¡ O ¡= ¡ or ¡ or ¡ S 1 ¡(O 1 |X 1 ) ¡ ¡ S 2 ¡(O 2 |X 2 ) ¡ ¡ S 3 ¡(O 3 |X 3 ) ¡ ¡ A ¡sequence ¡of ¡observable ¡variables ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 9 ¡ 9 ¡ BENE@WORK ¡

  10. (Precise) ¡hidden ¡Markov ¡model ¡ Q 2 ¡(X 3 |X 2 ) ¡ ¡ Q 1 ¡(X 1 ) ¡ ¡ Q 2 ¡(X 2 |X 1 ) ¡ ¡ A ¡sequence ¡of ¡hidden ¡state ¡variables ¡ X 2 ¡ X 3 ¡ X 1 ¡ O 1 ¡ O 2 ¡ O 3 ¡ S 1 ¡(O 1 |X 1 ) ¡ ¡ S 2 ¡(O 2 |X 2 ) ¡ ¡ S 3 ¡(O 3 |X 3 ) ¡ ¡ A ¡sequence ¡of ¡observable ¡variables ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 10 ¡ 10 ¡ BENE@WORK ¡

  11. (Precise) ¡hidden ¡Markov ¡model ¡ Q 2 ¡(X 3 |X 2 ) ¡ ¡ Q 1 ¡(X 1 ) ¡ ¡ Q 2 ¡(X 2 |X 1 ) ¡ ¡ A ¡sequence ¡of ¡hidden ¡state ¡variables ¡ X 2 ¡ X 3 ¡ X 1 ¡ Local ¡probability ¡models ¡ O 1 ¡ O 2 ¡ O 3 ¡ S 1 ¡(O 1 |X 1 ) ¡ ¡ S 2 ¡(O 2 |X 2 ) ¡ ¡ S 3 ¡(O 3 |X 3 ) ¡ ¡ A ¡sequence ¡of ¡observable ¡variables ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 11 ¡ 11 ¡ BENE@WORK ¡

  12. (Precise) ¡hidden ¡Markov ¡model ¡ Q 1 ¡(X 1 ) ¡ ¡ X 2 ¡ X 3 ¡ X 1 ¡ Local ¡probability ¡models ¡ O 1 ¡ O 2 ¡ O 3 ¡ Marginal ¡model ¡for ¡the ¡first ¡hidden ¡variable ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 12 ¡ 12 ¡ 12 ¡ BENE@WORK ¡

  13. (Precise) ¡hidden ¡Markov ¡model ¡ Q 2 ¡(X 3 |X 2 ) ¡ ¡ Q 2 ¡(X 2 |X 1 ) ¡ ¡ X 2 ¡ X 3 ¡ X 1 ¡ Local ¡probability ¡models ¡ O 1 ¡ O 2 ¡ O 3 ¡ Transi/on ¡models ¡for ¡the ¡next ¡hidden ¡variables ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 13 ¡ 13 ¡ 13 ¡ BENE@WORK ¡

  14. (Precise) ¡hidden ¡Markov ¡model ¡ Output ¡models ¡for ¡the ¡observable ¡variables ¡ X 2 ¡ X 3 ¡ X 1 ¡ Local ¡probability ¡models ¡ O 1 ¡ O 2 ¡ O 3 ¡ S 1 ¡(O 1 |X 1 ) ¡ ¡ S 2 ¡(O 2 |X 2 ) ¡ ¡ S 3 ¡(O 3 |X 3 ) ¡ ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 14 ¡ 14 ¡ 14 ¡ BENE@WORK ¡

  15. (Precise) ¡hidden ¡Markov ¡model ¡ Q 2 ¡(X 3 |X 2 ) ¡ ¡ Q 1 ¡(X 1 ) ¡ ¡ Q 2 ¡(X 2 |X 1 ) ¡ ¡ X 2 ¡ X 3 ¡ X 1 ¡ Local ¡probability ¡models ¡ O 1 ¡ O 2 ¡ O 3 ¡ S 1 ¡(O 1 |X 1 ) ¡ ¡ S 2 ¡(O 2 |X 2 ) ¡ ¡ S 3 ¡(O 3 |X 3 ) ¡ ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 15 ¡ 15 ¡ 15 ¡ BENE@WORK ¡

  16. (Precise) ¡hidden ¡Markov ¡model ¡ Q 2 ¡(X 3 |X 2 ) ¡ ¡ Q 1 ¡(X 1 ) ¡ ¡ Q 2 ¡(X 2 |X 1 ) ¡ ¡ X 2 ¡ X 3 ¡ X 1 ¡ How ¡to ¡construct ¡a ¡joint ¡model? ¡ O 1 ¡ O 2 ¡ O 3 ¡ S 1 ¡(O 1 |X 1 ) ¡ ¡ S 2 ¡(O 2 |X 2 ) ¡ ¡ S 3 ¡(O 3 |X 3 ) ¡ ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 16 ¡ 16 ¡ 16 ¡ BENE@WORK ¡

  17. (Precise) ¡hidden ¡Markov ¡model ¡ Q 2 ¡(X 3 |X 2 ) ¡ ¡ Q 1 ¡(X 1 ) ¡ ¡ Q 2 ¡(X 2 |X 1 ) ¡ ¡ X 2 ¡ X 3 ¡ X 1 ¡ Assump/ons ¡of ¡indepencence ¡ O 1 ¡ O 2 ¡ O 3 ¡ S 1 ¡(O 1 |X 1 ) ¡ ¡ S 2 ¡(O 2 |X 2 ) ¡ ¡ S 3 ¡(O 3 |X 3 ) ¡ ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 17 ¡ 17 ¡ 17 ¡ BENE@WORK ¡

  18. (Precise) ¡hidden ¡Markov ¡model ¡ CondiQonal ¡on ¡its ¡ mother ¡variable , ¡any ¡ variable ¡is ¡ independent ¡of ¡its ¡ non-­‑parent ¡non-­‑descendants ¡ X 1 ¡ X 2 ¡ X 3 ¡ O 2 ¡ O 1 ¡ O 3 ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 18 ¡ 18 ¡ 18 ¡ BENE@WORK ¡

  19. (Precise) ¡hidden ¡Markov ¡model ¡ Q 2 ¡(X 3 |X 2 ) ¡ ¡ Q 1 ¡(X 1 ) ¡ ¡ Q 2 ¡(X 2 |X 1 ) ¡ ¡ X 2 ¡ X 3 ¡ X 1 ¡ Local ¡ Global ¡model ¡P ¡(X 1:3 ,O 1:3 ) ¡ ¡ Markov-­‑condi/on ¡ models ¡ ¡ O 1 ¡ O 2 ¡ O 3 ¡ S 1 ¡(O 1 |X 1 ) ¡ ¡ S 2 ¡(O 2 |X 2 ) ¡ ¡ S 3 ¡(O 3 |X 3 ) ¡ ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 19 ¡ 19 ¡ 19 ¡ BENE@WORK ¡

  20. State ¡sequence ¡predic/on ¡in ¡ imprecise ¡hidden ¡Markov ¡models ¡ Jasper ¡De ¡Bock ¡ 20 ¡ BENE@WORK ¡

  21. State ¡sequence ¡predic/on ¡ Q 2 ¡(X 3 |X 2 ) ¡ ¡ Q 1 ¡(X 1 ) ¡ ¡ Q 2 ¡(X 2 |X 1 ) ¡ ¡ ? ¡ ? ¡ ? ¡ S 1 ¡(O 1 |X 1 ) ¡ ¡ S 2 ¡(O 2 |X 2 ) ¡ ¡ S 3 ¡(O 3 |X 3 ) ¡ ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 21 ¡ 21 ¡ BENE@WORK ¡

  22. State ¡sequence ¡predic/on ¡ Q 2 ¡(X 3 |X 2 ) ¡ ¡ Q 1 ¡(X 1 ) ¡ ¡ Q 2 ¡(X 2 |X 1 ) ¡ ¡ Condi/oning ¡the ¡model ¡on ¡the ¡observa/ons ¡ X 2 ¡ X 3 ¡ X 1 ¡ Local ¡ Global ¡model ¡P ¡(X 1:3 ,O 1:3 ) ¡ ¡ Markov-­‑condi/on ¡ models ¡ ¡ O 1 ¡ O 2 ¡ O 3 ¡ Bayes’ ¡theorem ¡ P ¡(O 1:3 ) ¡≠ ¡0 ¡ ¡ Condi/onal ¡global ¡model ¡P ¡(X 1:3 |O 1:3 ) ¡ ¡ S 1 ¡(O 1 |X 1 ) ¡ ¡ S 2 ¡(O 2 |X 2 ) ¡ ¡ S 3 ¡(O 3 |X 3 ) ¡ ¡ ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 22 ¡ 22 ¡ 22 ¡ BENE@WORK ¡

  23. State ¡sequence ¡predic/on ¡ P ¡( ¡? ¡ ¡ ¡? ¡ ¡ ¡? ¡ ¡| ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ ¡ Largest ¡probability? ¡ Q 1 ¡(X 1 ) ¡ ¡ Q 2 ¡(X 2 |X 1 ) ¡ ¡ Q 2 ¡(X 3 |X 2 ) ¡ ¡ ? ¡ ? ¡ ? ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 23 ¡ 23 ¡ BENE@WORK ¡

  24. State ¡sequence ¡predic/on ¡ P ¡( ¡? ¡ ¡ ¡? ¡ ¡ ¡? ¡ ¡| ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ ¡ Largest ¡probability? ¡ Q 1 ¡(X 1 ) ¡ ¡ Q 2 ¡(X 2 |X 1 ) ¡ ¡ Q 2 ¡(X 3 |X 2 ) ¡ ¡ ? ¡ ? ¡ ? ¡ MAXIMAL ¡SEQUENCE ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 24 ¡ 24 ¡ BENE@WORK ¡

  25. State ¡sequence ¡predic/on ¡ P ¡( ¡? ¡ ¡ ¡? ¡ ¡ ¡? ¡ ¡| ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ ¡ Largest ¡probability? ¡ Q 1 ¡(X 1 ) ¡ ¡ Q 2 ¡(X 2 |X 1 ) ¡ ¡ Q 2 ¡(X 3 |X 2 ) ¡ ¡ ? ¡ ? ¡ ? ¡ MAXIMAL ¡SEQUENCE ¡ Viterbi ¡algorithm ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 25 ¡ 25 ¡ BENE@WORK ¡

  26. State ¡sequence ¡predic/on ¡ P ¡( ¡? ¡ ¡ ¡? ¡ ¡ ¡? ¡ ¡| ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ ¡ Largest ¡probability? ¡ Q 1 ¡(X 1 ) ¡ ¡ Q 2 ¡(X 2 |X 1 ) ¡ ¡ Q 2 ¡(X 3 |X 2 ) ¡ ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 26 ¡ 26 ¡ BENE@WORK ¡

  27. State ¡sequence ¡predic/on ¡in ¡ imprecise ¡hidden ¡Markov ¡models ¡ Jasper ¡De ¡Bock ¡ 27 ¡ BENE@WORK ¡

  28. Imprecise ¡probabili/es ¡ 20%? ¡ ¡ ¡[10%,30%] ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 28 ¡ 28 ¡ BENE@WORK ¡

  29. Imprecise ¡probabili/es ¡ 20%? ¡ ¡ ¡[10%,30%] ¡ Credal ¡set ¡Μ ¡ Closed ¡and ¡convex ¡set ¡ of ¡mass ¡funcQons ¡ p ¡ Jasper ¡De ¡Bock ¡ Jasper ¡De ¡Bock ¡ 29 ¡ 29 ¡ BENE@WORK ¡

Recommend


More recommend