Announcements Homework 3 out, due Wed Nov 24 Ques)ons - PowerPoint PPT Presentation

Introduc)on ¡to ¡ ¡ Ar)ficial ¡Intelligence ¡ Lecture ¡15 ¡– ¡Temporal ¡models ¡ CS/CNS/EE ¡154 ¡ Andreas ¡Krause ¡ TexPoint ¡fonts ¡used ¡in ¡EMF. ¡ ¡

Announcements ¡ � Homework ¡3 ¡out, ¡due ¡Wed ¡Nov ¡24 ¡ � Ques)ons ¡1 ¡& ¡3 ¡already ¡covered ¡ � MDPs ¡(ques)on ¡2) ¡coming ¡up ¡Wednesday ¡ � Code ¡for ¡project ¡final ¡released ¡later ¡today ¡

Temporal ¡models ¡ � So ¡far: ¡“Sta)c” ¡models ¡(no ¡no)on ¡of ¡)me) ¡ � Variables ¡don’t ¡change ¡values ¡ � In ¡prac)ce: ¡ � World ¡changes ¡over ¡)me ¡ � Want ¡to ¡“keep ¡track” ¡of ¡change ¡by ¡using ¡probabilis)c ¡inference ¡ � Basic ¡idea : ¡Create ¡“copies” ¡of ¡variables, ¡one ¡per ¡)me ¡step ¡ 3 ¡

Dynamical ¡models ¡ � Sta)c ¡model ¡ Rain ¡ � Dynamic ¡model ¡ Rain 1 ¡ Rain 2 ¡ Rain 3 ¡ … ¡ � Assumes ¡discrete, ¡unit-­‑length ¡)me ¡steps! ¡ 4 ¡

Markov ¡chains ¡ � Markov ¡assump)on: ¡ � Sta)onarity ¡assump)on: ¡ 5 ¡

Predic)on ¡in ¡Markov ¡Chains ¡ � E.g.: ¡Given ¡that ¡it ¡rains ¡now, ¡how ¡likely ¡is ¡it ¡to ¡rain ¡a ¡ week ¡from ¡now? ¡ 6 ¡

Predic)on ¡in ¡Markov ¡Chains ¡ 7 ¡

HMMs ¡/ ¡Kalman ¡Filters ¡ � Most ¡famous ¡Bayesian ¡networks: ¡ � Naïve ¡Bayes ¡model ¡ � Hidden ¡Markov ¡model ¡ � Kalman ¡Filter ¡ � Hidden ¡Markov ¡models ¡ � Speech ¡recogni)on ¡ � Sequence ¡analysis ¡in ¡comp. ¡bio ¡ � Kalman ¡Filters ¡control ¡ � Cruise ¡control ¡in ¡cars ¡ � GPS ¡naviga)on ¡devices ¡ � Tracking ¡missiles.. ¡ � Very ¡simple ¡models ¡but ¡very ¡powerful!! ¡ 8 ¡

HMMs ¡/ ¡Kalman ¡Filters ¡ X 1 ¡ X 2 ¡ X 3 ¡ X 4 ¡ X 5 ¡ X 6 ¡ Y 1 ¡ Y 2 ¡ Y 3 ¡ Y 4 ¡ Y 5 ¡ Y 6 ¡ � X 1 ,…,X T : ¡Unobserved ¡(hidden) ¡variables ¡ � Y 1 ,…,Y T : ¡Observa)ons ¡ � HMMs: ¡X i ¡Mul)nomial, ¡Y i ¡mul)nomial ¡(or ¡arbitrary) ¡ � Kalman ¡Filters: ¡X i , ¡Y i ¡Gaussian ¡distribu)ons ¡ 9 ¡

HMMs ¡for ¡speech ¡recogni)on ¡ Words ¡ X 1 ¡ X 2 ¡ X 3 ¡ X 4 ¡ X 5 ¡ X 6 ¡ Phoneme ¡ Y 1 ¡ Y 2 ¡ Y 3 ¡ Y 4 ¡ Y 5 ¡ Y 6 ¡ “He ¡ate ¡the ¡cookies ¡on ¡the ¡couch” ¡ 10 ¡ 10 ¡

Example: ¡Umbrella ¡world ¡ f 0.3 Rain t– 1 Rain t P ( U ) R t t t 0.9 f 0.2 Umbrella Umbrella t– 1 Umbrella t

Inference ¡tasks ¡ Filtering ¡ Predic)on ¡ Smoothing ¡ Most ¡probable ¡explana)on ¡ 12 ¡

Inference ¡in ¡Hidden ¡Markov ¡Models ¡ � Inference: ¡ X 1 ¡ X 2 ¡ X 3 ¡ X 4 ¡ X 5 ¡ X 6 ¡ � In ¡principle, ¡can ¡use ¡variable ¡ elimina)on ¡/ ¡belief ¡propaga)on ¡ Y 1 ¡ Y 2 ¡ Y 3 ¡ Y 4 ¡ Y 5 ¡ Y 6 ¡ � New ¡variables ¡X t , ¡Y t ¡at ¡ each ¡)me ¡step ¡  ¡need ¡to ¡rerun ¡ � Complexity ¡grows ¡with ¡)me!! ¡ � Bayesian ¡Filtering: ¡ � Suppose ¡we ¡already ¡have ¡computed ¡P(X t ¡| ¡y 1,…,t ) ¡ � Want ¡to ¡efficiently ¡( recursively ) ¡compute ¡P(X t+1 ¡| ¡y 1,…,t+1 ) ¡ 13 ¡

Bayesian ¡filtering ¡ � Start ¡with ¡P(X 1 ) ¡ X 1 ¡ X 2 ¡ X 3 ¡ X 4 ¡ X 5 ¡ X 6 ¡ � At ¡)me ¡t ¡ � Assume ¡we ¡have ¡P(X t ¡| ¡y 1…t-­‑1 ) ¡ Y 1 ¡ Y 2 ¡ Y 3 ¡ Y 4 ¡ Y 5 ¡ Y 6 ¡ � Condi)oning: ¡P(X t ¡| ¡y 1…t ) ¡ � Predic)on: ¡P(X t+1 ¡| ¡y 1…t ) ¡ 14 ¡

Understanding ¡Bayesian ¡filtering ¡ 15 ¡

HMM ¡for ¡robot ¡localiza)on ¡ � a ¡ 16 ¡

Predic)on ¡in ¡HMMs ¡ � Have: ¡P(X t ¡| ¡y 1:t ) ¡ X 1 ¡ X 2 ¡ X 3 ¡ X 4 ¡ X 5 ¡ X 6 ¡ � Want: ¡P(X t+k ¡| ¡y 1:t ) ¡ Y 1 ¡ Y 2 ¡ Y 3 ¡ Y 4 ¡ Y 5 ¡ Y 6 ¡

Smoothing ¡/ ¡MPE ¡ � Smoothing: ¡ � Most ¡probable ¡explana)on: ¡ X 1 ¡ X 2 ¡ X 3 ¡ X 4 ¡ X 5 ¡ X 6 ¡ Y 1 ¡ Y 2 ¡ Y 3 ¡ Y 4 ¡ Y 5 ¡ Y 6 ¡ � HMM ¡is ¡polytree ¡Bayesian ¡network! ¡ � Can ¡use ¡ sum ¡product ¡ (aka ¡forward-­‑backward) ¡for ¡ smoothing ¡and ¡ max ¡product ¡ (aka ¡Viterbi ¡algo) ¡for ¡MPE ¡ � Specialized ¡implementa)ons ¡using ¡matrix ¡algebra ¡ 18 ¡

Kalman ¡filters ¡ � Track ¡objects ¡in ¡ con4nuous ¡domain ¡ using ¡noisy ¡ measurements ¡ � E.g., ¡birds ¡flying, ¡robots ¡moving, ¡chemical ¡plants, ¡… ¡ � System ¡described ¡using ¡Gaussian ¡variables ¡ � E.g., ¡loca)on ¡in ¡X,Y,Z; ¡velocity ¡in ¡X,Y,Z; ¡accelera)on ¡in ¡X,Y,Z,… ¡ 19 ¡

Bivariate ¡Gaussian ¡distribu)on ¡ 20 ¡

Mul)variate ¡Gaussian ¡distribu)on ¡ 21 ¡

Kalman ¡Filters ¡(Gaussian ¡HMMs) ¡ � X 1 ,…,X T : ¡Loca)on ¡of ¡object ¡being ¡tracked ¡ � Y 1 ,…,Y T : ¡Observa)ons ¡ � P(X 1 ): ¡Prior ¡belief ¡about ¡loca)on ¡at ¡)me ¡1 ¡ � P(X t+1 |X t ): ¡“Mo)on ¡model” ¡ � How ¡do ¡I ¡expect ¡my ¡target ¡to ¡move ¡in ¡the ¡environment? ¡ � P(Y t ¡| ¡X t ): ¡“Sensor ¡model” ¡ � What ¡do ¡I ¡observe ¡if ¡target ¡is ¡at ¡loca)on ¡X t ? ¡ X 1 ¡ X 2 ¡ X 3 ¡ X 4 ¡ X 5 ¡ X 6 ¡ Y 1 ¡ Y 2 ¡ Y 3 ¡ Y 4 ¡ Y 5 ¡ Y 6 ¡ 22 ¡

Bayesian ¡filtering ¡in ¡KFs ¡(1D) ¡ � Start ¡with ¡P(X 1 ) ¡ X 1 ¡ X 2 ¡ X 3 ¡ X 4 ¡ X 5 ¡ X 6 ¡ � At ¡)me ¡t ¡ � Assume ¡we ¡have ¡P(X t ¡| ¡y 1…t-­‑1 ) ¡ Y 1 ¡ Y 2 ¡ Y 3 ¡ Y 4 ¡ Y 5 ¡ Y 6 ¡ � Condi)oning: ¡P(X t ¡| ¡y 1…t ) ¡ � Predic)on: ¡P(X t+1 ¡| ¡y 1…t ) ¡ 23 ¡

Example: ¡Simple ¡random ¡walk ¡ � Transi)on ¡/ ¡mo)on ¡model ¡ � Sensor ¡model ¡ � State ¡at ¡)me ¡t: ¡ ¡ 24 ¡

Example: ¡Bayesian ¡filtering ¡in ¡KFs ¡ 25 ¡ Suppose: ¡

General ¡Kalman ¡update ¡ � Transi)on ¡model ¡ � Sensor ¡model ¡ � Kalman ¡Update: ¡ � Kalman ¡gain: ¡ � Can ¡compute ¡ ¡ ¡ ¡ ¡and ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡offline ¡ 26 ¡

2D ¡tracking ¡example ¡ 27 ¡

Kalman ¡smoothing ¡ 28 ¡

When ¡KFs ¡fail ¡ � KFs ¡assume ¡transi)on ¡model ¡is ¡ linear ¡ � Implies ¡that ¡predic)ve ¡distribu)on ¡is ¡Gaussian ¡(unimodal) ¡ � Need ¡approximate ¡inference ¡to ¡capture ¡nonlineari)es! ¡ 29 ¡

Factored ¡dynamical ¡models ¡ � So ¡far: ¡HMMs ¡and ¡Kalman ¡filters ¡ X 1 ¡ X 2 ¡ X 3 ¡ X 4 ¡ X 5 ¡ X 6 ¡ Y 1 ¡ Y 2 ¡ Y 3 ¡ Y 4 ¡ Y 5 ¡ Y 6 ¡ � What ¡if ¡we ¡have ¡more ¡than ¡one ¡variable ¡at ¡each ¡)me ¡step? ¡ � E.g., ¡temperature ¡at ¡different ¡loca)ons, ¡or ¡road ¡condi)ons ¡in ¡a ¡ road ¡network? ¡  ¡Dynamic ¡Bayesian ¡Networks ¡ 30 ¡

Dynamic ¡Bayesian ¡Networks ¡ � At ¡every ¡)mestep ¡have ¡a ¡ Bayesian ¡Network ¡ A 1 ¡ A 2 ¡ A 3 ¡ D 1 ¡ D 2 ¡ D 3 ¡ B 1 ¡ B 2 ¡ B 3 ¡ E 1 ¡ E 2 ¡ E 3 ¡ C 1 ¡ C 2 ¡ C 3 ¡ � Variables ¡at ¡each ¡)me ¡step ¡t ¡called ¡a ¡slice ¡ S t ¡ � “Temporal” ¡edges ¡connec)ng ¡S t+1 ¡with ¡S t ¡ 31 ¡

Flow ¡of ¡influence ¡in ¡DBNs ¡ A 1 ¡ A 2 ¡ A 3 ¡ A 4 ¡ B 1 ¡ B 2 ¡ B 3 ¡ B 4 ¡ C 1 ¡ C 2 ¡ C 3 ¡ C 4 ¡ D 1 ¡ D 2 ¡ D 3 ¡ D 4 ¡ 32 ¡

Inference ¡in ¡DBNs? ¡ DBN ¡ Marginals ¡at ¡)me ¡2 ¡ A 1 ¡ A 2 ¡ A 2 ¡ B 1 ¡ B 2 ¡ B 2 ¡ C 1 ¡ C 2 ¡ C 2 ¡ D 1 ¡ D 2 ¡ D 2 ¡ 33 ¡

Par)cle ¡filtering ¡ � Very ¡useful ¡approximate ¡inference ¡technique ¡for ¡ dynamical ¡models ¡ � Nonlinear ¡Kalman ¡filters ¡ � Dynamic ¡Bayesian ¡networks ¡ � Basic ¡idea : ¡Approximate ¡the ¡posterior ¡at ¡each ¡)me ¡by ¡ samples ¡(par)cles), ¡which ¡are ¡propagated ¡and ¡ reweighted ¡over ¡)me ¡ 34 ¡