Juergen Branke, Sergio Morales-Enciso Warwick Business School - PowerPoint PPT Presentation

Juergen ¡Branke, ¡Sergio ¡Morales-­‑Enciso ¡ Warwick ¡Business ¡School ¡

Outline ¡ ž Mo8va8on ¡ ž Evolu8onary ¡op8misa8on ¡in ¡dynamic ¡ environments ¡ ž Efficient ¡Global ¡Op8misa8on ¡(EGO) ¡ ž Extensions ¡to ¡dynamic ¡environments ¡ ž Experimental ¡results ¡ ž Conclusion ¡ Warwick ¡Business ¡School ¡

Mo+va+on ¡ ž Many ¡op8misa8on ¡problems ¡are ¡dynamic ¡ — Scheduling ¡ — Pickup ¡& ¡delivery ¡ — Changing ¡quality ¡of ¡raw ¡material ¡ — … ¡ ž Problem ¡changes ¡from ¡finding ¡the ¡op8mum ¡to ¡ tracking ¡the ¡op8mum ¡ Warwick ¡Business ¡School ¡

Nature ¡is ¡able ¡to ¡adapt ¡ ¡Evolu+onary ¡algorithms ¡seem ¡promising! ¡ Warwick ¡Business ¡School ¡

Evolu+onary ¡algorithms ¡are ¡not ¡ Convergence ¡of ¡popula8on ¡limits ¡adaptability ¡ Warwick ¡Business ¡School ¡

Possible ¡Remedies ¡ 1. Restart ¡aPer ¡a ¡change ¡ ¡ (only ¡choice ¡if ¡changes ¡are ¡too ¡severe) ¡ But: ¡Too ¡slow ¡ 2. Generate ¡diversity ¡aPer ¡a ¡change ¡ – Hypermuta8on ¡ [Cobb ¡1990] ¡ But: ¡Randomisa8on ¡destroys ¡informa8on, ¡ ¡ only ¡local ¡search ¡or ¡similar ¡to ¡restart ¡ Warwick ¡Business ¡School ¡

Possible ¡Remedies ¡(2) ¡ 3. Maintain ¡diversity ¡throughout ¡the ¡run ¡ — Random ¡Immigrants ¡ [Grefenste\e ¡1992] ¡ — Thermodynamical ¡GA ¡ [Mori ¡et ¡al. ¡1996] ¡ But: ¡Disturbes ¡op8misa8on ¡proce ss ¡ 4. Memory-­‑enhanced ¡EAs ¡ – Implicit ¡memory ¡ [Goldberg ¡& ¡Smith ¡1987, ¡Lewis ¡et ¡al. ¡1998] ¡ • Redundant ¡gene8c ¡representa8on ¡(e.g. ¡diploid) ¡ – Explicit ¡memory ¡ [Ramsey ¡& ¡Grefenste\e ¡1993, ¡Branke ¡1999, ¡Yang ¡2008] ¡ • Explicit ¡rules ¡which ¡informa8on ¡to ¡store ¡in ¡and ¡retrieve ¡from ¡the ¡memory ¡ But: ¡Only ¡useful ¡when ¡op8mum ¡reappears ¡at ¡old ¡loca8on, ¡ Problem ¡of ¡convergence ¡remains ¡ Warwick ¡Business ¡School ¡

Possible ¡Remedies ¡(3) ¡ 5. Mul8-­‑Popula8on ¡approaches ¡ — Maintain ¡different ¡subpopula8ons ¡on ¡different ¡ peaks ¡ ○ adap8ve ¡memory ¡ ○ able ¡to ¡detect ¡new ¡op8ma ¡ ○ distance/similarity ¡metric ¡required ¡ — Self-­‑Organizing ¡Scouts ¡ [Branke ¡et ¡al. ¡2000 ¡ — ClusteringPSO ¡[Yang&Li ¡2010, ¡Li ¡& ¡Yang ¡2012] ¡ Maintains ¡and ¡updates ¡memory ¡of ¡several ¡good ¡ regions ¡ Warwick ¡Business ¡School ¡

Only ¡few ¡ ¡ evalua+ons ¡possible ¡ ž Limited ¡8me ¡ ž Expensive ¡black-­‑box ¡op8misa8on ¡problem ¡ Warwick ¡Business ¡School ¡

Efficient ¡Global ¡Op+misa+on ¡(EGO) ¡ ž Fit ¡a ¡Gaussian ¡Process ¡(GP) ¡to ¡data ¡ ž Response ¡model ¡provides ¡informa8on ¡about ¡ — expected ¡value ¡ — uncertainty ¡ ž Use ¡response ¡model ¡to ¡determine ¡next ¡data ¡ point ¡ ž Expected ¡improvement ¡makes ¡explicit ¡trade-­‑off ¡ between ¡explora8on ¡and ¡exploita8on ¡ Warwick ¡Business ¡School ¡

Efficient ¡Global ¡Op+misa+on ¡(EGO) ¡ ž Fit ¡a ¡Gaussian ¡Process ¡(GP) ¡to ¡data ¡ � � x 0 ) f ( ~ x ) ∼ GP m ( ~ x ) , K ( ~ x, ~ ¡ ¡ ¡ ¡ ¡where ¡ m ( ~ x ) = 0   k ( ~ x 1 ) k ( ~ x n ) x 1 , ~ x 1 , ~ · · · . . ... ~ . . K =   . .   k ( ~ x 1 ) k ( ~ x n ) x n , ~ x n , ~ · · · ✓ D ◆ d ) 2 ( x d − x 0 X x, ~ � 2 � 2 x 0 ) k ( ~ = + n � ( ~ x 0 ) x, ~ exp − f ` 2 2 | {z } | {z } |{z} d d =1 |{z} measurement noise kernel max cov length scale Warwick ¡Business ¡School ¡

Example: ¡GP ¡in ¡1 ¡dimension ¡ 1.5 1 0.5 0 − 0.5 − 1 0 1 2 3 4 5 6 Warwick ¡Business ¡School ¡

Adapta+on ¡to ¡dynamic ¡ environments ¡ How ¡to ¡integrate ¡knowledge ¡from ¡history? ¡ a) Designate ¡old ¡date ¡as ¡less ¡reliable ¡(noisy) ¡ b) Add ¡8me ¡as ¡addi8onal ¡dimension ¡ c) Modify ¡mean ¡prior ¡ Warwick ¡Business ¡School ¡

a) ¡Add ¡noise ¡to ¡old ¡samples ¡ ✓ D ◆ d ) 2 ( x d − x 0 X x, ~ � 2 + � 2 x 0 ) = k ( ~ n ( ⌧ ) � ( ~ x 0 ) x, ~ exp f − ` 2 2 | {z } |{z} d d =1 |{z} measurement noise max cov length scale σ 2 n ( τ ) = ( τ c − τ ) s 2 ž Noise ¡level ¡s 2 ¡ is ¡user-­‑specified ¡parameter ¡ Warwick ¡Business ¡School ¡

Effect ¡of ¡noise ¡ Effect on noise level: σ n = 0 Effect on noise level: σ n = 1 250 250 200 200 150 150 100 100 50 50 0 0 − 50 0 1 2 3 4 5 6 0 1 2 3 4 5 6 Effect on noise level: σ n = 5 Effect on noise level: σ n = 20 300 200 250 200 150 150 100 100 50 50 0 0 Warwick ¡Business ¡School ¡ 0 1 2 3 4 5 6 0 1 2 3 4 5 6

Example ¡ 6 6 4 0.3 3.5 4 4 0.25 Expected improvement Expected improvement 3 Objective function [y] Objective function [y] 2 2 2.5 0.2 0 0 2 0.15 1.5 − 2 − 2 0.1 1 − 4 − 4 0.05 0.5 − 6 0 − 6 − 3 − 2 − 1 0 1 2 3 − 3 − 2 − 1 0 1 2 3 Sample space [x] Sample space [x] 6 6 1.4 0.25 4 4 1.2 Expected improvement Expected improvement Objective function [y] 0.2 Objective function [y] 1 2 2 0.15 0.8 0 0 0.6 0.1 − 2 − 2 0.4 0.05 − 4 − 4 0.2 − 6 0 − 6 0 − 3 − 2 − 1 0 1 2 3 − 3 − 2 − 1 0 1 2 3 Warwick ¡Business ¡School ¡ Sample space [x] Sample space [x]

b) ¡Addi+onal ¡dimension ¡ ž Time ¡stamp ¡as ¡addi8onal ¡dimension ¡ ✓ D +1 ◆ d ) 2 ( x d − x 0 X � 2 x 0 ) = k ( ~ x, ~ exp − f ` 2 2 |{z} d d =1 |{z} max cov length scale ž Length ¡scale ¡parameter ¡is ¡learned ¡by ¡GP ¡ Warwick ¡Business ¡School ¡

c) ¡Transferring ¡the ¡mean ¡prior ¡ ž Instead ¡of ¡a ¡zero ¡mean ¡prior, ¡take ¡the ¡best ¡ es8mate ¡of ¡the ¡previous ¡epoch ¡as ¡a ¡prior ¡mean ¡ func8on ¡ � � x 0 ) f ( ~ x ) ∼ GP f τ � 1 ( ~ x ) , K τ ( ~ ∀ ⌧ > 0 x, ~ Warwick ¡Business ¡School ¡

Measuring ¡performance ¡ ž Average ¡error ¡– ¡If ¡every ¡solu8on ¡is ¡tested ¡in ¡real ¡ world ¡ ž Offline ¡error ¡– ¡If ¡best ¡so ¡far ¡solu8on ¡is ¡tested ¡in ¡ real ¡world ¡ ž Best ¡before ¡change ¡– ¡If ¡op8miza8on ¡is ¡done ¡ before ¡a ¡solu8on ¡is ¡implemented ¡ Warwick ¡Business ¡School ¡

Moving ¡Peaks ¡Benchmark ¡ [Branke1999] ¡ ž Several ¡peaks, ¡ ¡ changing ¡in ¡ — Loca8on ¡ — Height ¡ — Width ¡ ž Used ¡here: ¡ — 5 ¡peaks ¡ — 1 ¡D ¡ — Change ¡every ¡25 ¡evalua8ons ¡ Warwick ¡Business ¡School ¡

Offline ¡error ¡ Offline error. R=128, Hist=1 epoch. vLength=1.0, height severity=2.0 width severity = 0.01; D=1 50 Reset Ignore 45 DIN(S n =4) 40 TasD+1 Reset* PSMP 35 Offline error 30 25 20 15 10 5 0 0 200 400 600 800 1000 1200 1400 1600 1800 2000 Function Evaluations Warwick ¡Business ¡School ¡

Final ¡offline ¡error ¡ Performance comparison of 7 models. R=128, Hist=1 epoch vlength = 1.0; height severity=2.0; width severity = 0.01; D=1 20 Offline error 15 10 5 0 RANDOM RESET IGNORE RESET* DIN (S_n=4) TasD+1 PSMP Warwick ¡Business ¡School ¡

Current error. R=128, Hist=1 epoch. vLength=1.0, height severity=2.0 width severity = 0.01; D=1 60 60 60 DIN(S n =4) Reset Ignore Current error Current error Current error 40 40 40 20 20 20 0 0 0 0 500 0 500 0 500 Function Evaluations Function Evaluations Function Evaluations 60 60 60 TasD+1 Reset* PSMP Current error Current error Current error 40 40 40 20 20 20 0 0 0 0 500 0 500 0 500 Function Evaluations Function Evaluations Function Evaluations Warwick ¡Business ¡School ¡

Conclusion ¡ ž With ¡appropriate ¡adjustments, ¡evolu8onary ¡ computa8on ¡is ¡able ¡to ¡con8nuously ¡adapt ¡ ž Proposed ¡new ¡variants ¡of ¡EGO ¡for ¡dynamic ¡ op8misa8on ¡problems ¡ ž Results ¡show ¡benefit ¡of ¡transferring ¡informa8on ¡ from ¡previous ¡epochs ¡ ž Promising ¡for ¡applica8ons ¡where ¡very ¡few ¡ func8on ¡evalua8ons ¡are ¡possible ¡ Warwick ¡Business ¡School ¡