Using Predictions in Online Optimization: Looking Forward - PowerPoint PPT Presentation

Using ¡Predictions ¡in ¡Online ¡Optimization: ¡ Looking ¡Forward ¡with ¡an ¡Eye ¡on ¡the ¡Past Niangjun ¡Chen ¡ Joint ¡work ¡with ¡Joshua ¡Comden, ¡Zhenhua Liu, ¡Anshul Gandhi, ¡and ¡Adam ¡Wierman 1

Predictions ¡are ¡crucial ¡for ¡decision ¡making 2

Predictions ¡are ¡crucial ¡for ¡decision ¡making “The ¡human ¡brain, ¡it ¡is ¡being ¡increasingly ¡argued ¡in ¡the ¡ scientific ¡literature, ¡is ¡best ¡viewed ¡as ¡an ¡advanced ¡prediction ¡ machine.” 3

We ¡know ¡how ¡to ¡make ¡predictions 4

We ¡know ¡how ¡to ¡make ¡predictions But ¡not ¡how ¡to ¡design ¡algorithms ¡to ¡use ¡prediction independent How ¡should ¡an ¡algorithm ¡ vs use ¡predictions ¡if ¡errors ¡are correlated 5

This ¡paper: ¡Online ¡algorithm ¡design ¡with ¡ predictions in ¡mind 6

𝑑̂ ) 𝑑̂ " 𝑑̂ ( 𝑑 " 𝑑̂ * Prediction ¡error 𝑑 " (𝑦 " ) 𝑦 " 𝐺 Cost ¡= ¡ 𝑑 " 𝑦 " 7

𝑑̂ ) 𝑑̂ ( 𝑑̂ * 𝑑 ( Prediction ¡error 𝑑 ( (𝑦 ( ) 𝑦 ( 𝑦 " 𝐺 𝛾‖𝑦 ( − 𝑦 " ‖ : ¡switching ¡cost Cost ¡= ¡ 𝑑 " 𝑦 " + 𝛾 𝑦 ( − 𝑦 " + 𝑑 ( 𝑦 ( Cost ¡= ¡ 𝑑 " 𝑦 " 8

𝑑̂ ) 𝑑̂ * 𝑑 ) Prediction ¡error 𝑑 ) (𝑦 ) ) 𝑦 ( 𝑦 ) 𝑦 " 𝐺 𝛾‖𝑦 ) − 𝑦 ( ‖ Cost ¡= ¡ 𝑑 " 𝑦 " + 𝛾 𝑦 ( − 𝑦 " Cost ¡= ¡ 𝑑 " 𝑦 " + 𝛾 𝑦 ( − 𝑦 " + 𝑑 ( 𝑦 ( + 𝛾 𝑦 ) − 𝑦 ( + 𝑑 ( 𝑦 ( + 𝑑 ) 𝑦 ) … 9

� Online ¡convex ¡optimization ¡using ¡predictions 𝑦 " , 𝑧 " , 𝑦 ( , 𝑧 ( , 𝑦 ) , 𝑧 ) … online Goal: ¡minimize ¡competitive ¡difference ¡ cost(𝐵𝑀𝐻) ¡– ¡cost(𝑃𝑄𝑈) 3 4 ∈6 7 𝑑 𝑦 8 , 𝑧 8 min + 𝛾‖𝑦 8 − 𝑦 8<" ‖ ¡ 8 switching ¡cost convex e.g. ¡online ¡tracking ¡cost 𝑑 𝑦 8 , 𝑧 8 Time Information ¡Available Decision Given ¡prediction ¡of ¡ 𝑧 8 ¡ at ¡time ¡ 𝜐, 𝑧 8|A 1 𝑧 "|> 𝑧 (|> 𝑧 )|> … ¡ 𝑦 " 2 𝑧 " 𝑧 (|" 𝑧 )|" … 𝑦 ( 3 𝑧 " 𝑧 ( 𝑧 )|( … 𝑦 ) 4 𝑧 " 𝑧 ( 𝑧 ) … 𝑦 * ¡ 10

Prediction ¡noise ¡model [Gan et ¡al ¡2013] ¡[Chen ¡et ¡al ¡2014] ¡[Chen ¡et ¡al ¡2015] 8 𝑧 8 = 𝑧 8|A + 7 𝑔 𝑢 − 𝑡 𝑓(𝑡) RSAT" Realization ¡that ¡algorithm ¡is ¡trying ¡to ¡track prediction ¡error Prediction ¡for ¡time ¡ 𝑢 given ¡to ¡ algorithm ¡at ¡time ¡ 𝜐 11

Prediction ¡noise ¡model [Gan et ¡al ¡2013] ¡[Chen ¡et ¡al ¡2014] ¡[Chen ¡et ¡al ¡2015] Per-­‑step ¡noise 8 𝑧 8 = 𝑧 8|A + 7 𝑔 𝑢 − 𝑡 𝑓(𝑡) RSAT" 9

� Prediction ¡noise ¡model [Gan et ¡al ¡2013] ¡[Chen ¡et ¡al ¡2014] ¡[Chen ¡et ¡al ¡2015] Weighting ¡factor 8 𝑧 8 = 𝑧 8|A + 7 𝑔 𝑢 − 𝑡 𝑓(𝑡) RSAT" How ¡important ¡is ¡the ¡noise ¡at ¡time ¡ ¡ 𝑢 − 𝑡 for ¡the ¡prediction ¡of ¡ 𝑢 ? 𝜏 𝑔 0 ( + ⋯ + 𝑔 𝑡 ( ) 𝑢 = 𝑡 13

Prediction ¡noise ¡model [Gan et ¡al ¡2013] ¡[Chen ¡et ¡al ¡2014] ¡[Chen ¡et ¡al ¡2015] 8 𝑧 8 = 𝑧 8|A + 7 𝑔 𝑢 − 𝑡 𝑓(𝑡) RSAT" prediction ¡error • Predictions ¡are ¡“refined” ¡as ¡time ¡moves ¡forward • Predictions ¡are ¡more ¡noisy ¡as ¡you ¡look ¡further ¡ahead • Prediction ¡errors ¡can ¡be ¡correlated • Form ¡of ¡errors ¡matches ¡many ¡classical ¡models Prediction ¡of ¡wide-­‑sense ¡stationary ¡process ¡using ¡Wiener ¡filter Prediction ¡of ¡linear ¡dynamical ¡system ¡using ¡Kalman filter 14

Lots ¡of ¡applications ¡… Dynamic ¡capacity ¡management ¡in ¡data ¡centers ¡[Gandhi ¡et ¡al. ¡2012][Lin ¡et ¡al ¡2013] Power ¡system ¡generation/load ¡scheduling[Lu ¡et ¡al. ¡ ¡2013] ¡ Portfolio ¡management ¡[Cover ¡1991][Boyd ¡et ¡al. ¡2012] Video ¡streaming ¡[Sen ¡et ¡al. ¡2000][Liu ¡et ¡al. ¡2008] Network ¡routing ¡[Bansal ¡et ¡al. ¡2003][Kodialam et ¡al. ¡2003] Geographical ¡load ¡balancing ¡[Hindman et ¡al. ¡2011] ¡[Lin ¡et ¡al. ¡2012] Visual ¡speech ¡generation ¡[Kim ¡et ¡al. ¡2015] … ¡ 15

Lots ¡of ¡applications ¡… Dynamic ¡capacity ¡management ¡in ¡data ¡centers ¡[Gandhi ¡et ¡al. ¡2012][Lin ¡et ¡al ¡2013] Power ¡system ¡generation/load ¡scheduling[Lu ¡et ¡al. ¡ ¡2013] ¡ Portfolio ¡management ¡[Cover ¡1991][Boyd ¡et ¡al. ¡2012] Video ¡streaming ¡[Sen ¡et ¡al. ¡2000][Liu ¡et ¡al. ¡2008] Network ¡routing ¡[Bansal ¡et ¡al. ¡2003][Kodialam et ¡al. ¡2003] Geographical ¡load ¡balancing ¡[Hindman et ¡al. ¡2011] ¡[Lin ¡et ¡al. ¡2012] Visual ¡speech ¡generation ¡[Kim ¡et ¡al. ¡2015] … ¡ 16

Lots ¡of ¡applications ¡… Dynamic ¡capacity ¡management ¡in ¡data ¡centers ¡[Gandhi ¡et ¡al. ¡2012][Lin ¡et ¡al ¡2013] Power ¡system ¡generation/load ¡scheduling[Lu ¡et ¡al. ¡ ¡2013] ¡ Portfolio ¡management ¡[Cover ¡1991][Boyd ¡et ¡al. ¡2012] Video ¡streaming ¡[Sen ¡et ¡al. ¡2000][Liu ¡et ¡al. ¡2008] Network ¡routing ¡[Bansal ¡et ¡al. ¡2003][Kodialam et ¡al. ¡2003] Geographical ¡load ¡balancing ¡[Hindman et ¡al. ¡2011] ¡[Lin ¡et ¡al. ¡2012] Visual ¡speech ¡generation ¡[Kim ¡et ¡al. ¡2015] … ¡ 17

Lots ¡of ¡applications ¡… Dynamic ¡capacity ¡management ¡in ¡data ¡centers ¡[Gandhi ¡et ¡al. ¡2012][Lin ¡et ¡al ¡2013] Power ¡system ¡generation/load ¡scheduling[Lu ¡et ¡al. ¡ ¡2013] ¡ Portfolio ¡management ¡[Cover ¡1991][Boyd ¡et ¡al. ¡2012] Video ¡streaming ¡[Sen ¡et ¡al. ¡2000][Liu ¡et ¡al. ¡2008] Network ¡routing ¡[Bansal ¡et ¡al. ¡2003][Kodialam et ¡al. ¡2003] Geographical ¡load ¡balancing ¡[Hindman et ¡al. ¡2011] ¡[Lin ¡et ¡al. ¡2012] Visual ¡speech ¡generation ¡[Kim ¡et ¡al. ¡2015] … ¡ 18

Lots ¡of ¡applications… ¡lots ¡of ¡algorithms Most ¡popular ¡choice ¡by ¡far: ¡Receding ¡Horizon ¡Control ¡(RHC) ¡ [Morari et ¡al ¡1989][Mayne 1990][Rawling et ¡al ¡2000][Camacho ¡2013]… 𝑧 8T"|8 , 𝑧 8T(|8 , … , 𝑧 8TX|8 , 𝑧 8TXT"|8 , 𝑧 8TXT(|8 , … 8TX 𝑦 8T" , 𝑦 8T( , … , 𝑦 8TX = argmin 7 𝑑(𝑦 8 , 𝑧 8|R ) + 𝛾 𝑦 8 − 𝑦 8<" " RS8T" 19

Lots ¡of ¡applications… ¡lots ¡of ¡algorithms Most ¡popular ¡choice ¡by ¡far: ¡Receding ¡Horizon ¡Control ¡(RHC) ¡ [Morari et ¡al ¡1989][Mayne 1990][Rawling et ¡al ¡2000][Camacho ¡2013]… 𝑧 8T"|8 , 𝑧 8T(|8 , … , 𝑧 8TX|8 , 𝑧 8TXT"|8 , 𝑧 8TXT(|8 , … 𝑧 8T(|8T" , 𝑧 8T)|8T" , … , 𝑧 8TXT"|8T" , 𝑧 8TXT(|8T" , 𝑧 8TXT)|8T" , … 𝑦 8T( , 𝑦 8T) , … 𝑦 8TXT" 20

Lots ¡of ¡applications… ¡lots ¡of ¡algorithms Most ¡popular ¡choice ¡by ¡far: ¡Receding ¡Horizon ¡Control ¡(RHC) ¡ [Morari et ¡al ¡1989][Mayne 1990][Rawling et ¡al ¡2000][Camacho ¡2013]… 𝑧 8T"|8 , 𝑧 8T(|8 , … , 𝑧 8TX|8 , 𝑧 8TXT"|8 , 𝑧 8TXT(|8 , … 𝑧 8T(|8T" , 𝑧 8T)|8T" , … , 𝑧 8TXT"|8T" , 𝑧 8TXT(|8T" , 𝑧 8TXT)|8T" , … 𝑧 8T)|8T( , 𝑧 8T*|8T( , … , 𝑧 8TXT(|8T( , 𝑧 8TXT)|8T( , 𝑧 8TXT*|8T( , … 𝑦 8T) , 𝑦 8T* , … 𝑦 8TXT( 21

Lots ¡of ¡applications… ¡lots ¡of ¡algorithms Most ¡popular ¡choice ¡by ¡far: ¡Receding ¡Horizon ¡Control ¡(RHC) ¡ [Morari et ¡al ¡1989][Mayne 1990][Rawling et ¡al ¡2000][Camacho ¡2013]… Recent ¡suggestion: ¡Averaging ¡Fixed ¡Horizon ¡Control ¡(AFHC) [Lin ¡et ¡al ¡2012] ¡[Chen ¡et ¡al ¡2015] ¡[Kim ¡et ¡al ¡2015] ¡ 22

Averaging ¡Fixed ¡Horizon ¡Control Fixed ¡Horizon ¡Control ¡(FHC) 𝑧 8T"|8 , 𝑧 8T(|8 , … , 𝑧 8TX|8 , 𝑧 8TXT"|8TX , 𝑧 8TXT(|8TX , … 8TX 𝑦 8T" , 𝑦 8T( , … , 𝑦 8TX ¡= argmin 7 𝑑(𝑦 8 , 𝑧 8|R ) + 𝛾 𝑦 8 − 𝑦 8<" " RS8T" 23