Highly-Scalable Algorithms for Ensemble Data Assimila8on - PowerPoint PPT Presentation

Highly-­‑Scalable ¡Algorithms ¡for ¡ ¡ Ensemble ¡Data ¡Assimila8on ¡ Jeffrey ¡Anderson, ¡Nancy ¡Collins, ¡ and ¡Helen ¡Kershaw ¡ ¡ Ins$tute ¡for ¡Mathema$cs ¡Applied ¡to ¡Geophysics, ¡ ¡ Na$onal ¡Center ¡for ¡Atmospheric ¡Research, ¡USA ¡ Email: ¡jla@ucar.edu ¡ ¡ ¡ WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 1 ¡

The ¡Data ¡AssimilaHon ¡Research ¡Testbed ¡(DART) ¡ Ø ¡ General ¡purpose ¡ensemble ¡DA ¡tools ¡ Ø ¡Must ¡work ¡with ¡any ¡model ¡ ¡ (global, ¡regional, ¡ocean, ¡land, ¡flu,…) ¡ Ø ¡Must ¡work ¡with ¡any ¡observaHon ¡(for ¡any ¡model) ¡ WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 2 ¡

More ¡DART ¡Challenges ¡ Ø Must ¡run ¡‘well’ ¡on ¡any ¡computer: ¡ ¡ laptop ¡to ¡petascale, ¡O(10,000) ¡cores ¡ Ø Small ¡(1 ¡variable) ¡to ¡enormous ¡(high-­‑res ¡coupled) ¡models ¡ Ø Arbitrary ¡model ¡‘grids’, ¡state ¡variables ¡ Ø Arbitrary ¡observaHon ¡layout: ¡uniform ¡or ¡highly ¡heterogeneous ¡ ¡ Ø Any ¡raHo ¡of ¡state ¡variables ¡to ¡observaHons ¡ ¡ Ø Small ¡team ¡supports ¡20+ ¡models, ¡many ¡kinds ¡of ¡observaHons: ¡ Model ¡and ¡observaHon ¡specific ¡code ¡must ¡be ¡minimal ¡ WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 3 ¡

DART ¡SoluHons ¡ Ø Filter ¡methods ¡(adjoints ¡are ¡too ¡much ¡work ¡for ¡us) ¡ Ø SequenHal/serial ¡ensemble ¡filters ¡ ¡ Allows ¡completely ¡general ¡localizaHon ¡(Lili ¡Lei’s ¡talk ¡this ¡a_ernoon) ¡ ¡ ¡ ¡ Important ¡for ¡opHmal ¡filtering ¡for ¡general ¡applicaHons ¡ Ø Allows ¡more ¡general ¡parallelizaHon ¡(this ¡talk) ¡ WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 4 ¡

SequenHal ¡Ensemble ¡Filter ¡ 1. Use ¡model ¡to ¡advance ¡ensemble ¡(3 ¡members ¡here) ¡to ¡Hme ¡at ¡which ¡next ¡ observaHon ¡becomes ¡available. Ensemble ¡state ¡esHmate ¡a_er ¡ using ¡previous ¡observaHon ¡ Ensemble ¡state ¡at ¡Hme ¡ (analysis) of ¡next ¡observaHon ¡ (prior) WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 5 ¡

SequenHal ¡Ensemble ¡Filter ¡ 2. ¡Get ¡prior ¡ensemble ¡sample ¡of ¡observaHon, ¡y ¡= ¡h(x), ¡by ¡applying ¡forward ¡ operator ¡ h ¡to ¡each ¡ensemble ¡member. Theory: ¡observaHons ¡from ¡ instruments ¡with ¡uncorrelated ¡ errors ¡can ¡be ¡done ¡sequenHally. ¡ WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 6 ¡

SequenHal ¡Ensemble ¡Filter ¡ 3. ¡Get ¡observed ¡value ¡and ¡observaHonal ¡error ¡distribuHon ¡from ¡observing ¡ system. WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 7 ¡

SequenHal ¡Ensemble ¡Filter ¡ 4. ¡Find ¡the ¡increments ¡for ¡the ¡prior ¡observaHon ¡ensemble ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(this ¡is ¡a ¡scalar ¡problem ¡for ¡uncorrelated ¡observaHon ¡errors). Note: ¡Difference ¡between ¡various ¡ ensemble ¡filters ¡is ¡primarily ¡in ¡ observaHon ¡increment ¡calculaHon. WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 8 ¡

SequenHal ¡Ensemble ¡Filter ¡ 5. ¡Use ¡ensemble ¡samples ¡of ¡ y ¡and ¡each ¡state ¡variable ¡to ¡linearly ¡regress ¡ observaHon ¡increments ¡onto ¡state ¡variable ¡increments. Theory: ¡impact ¡of ¡observaHon ¡ increments ¡on ¡each ¡state ¡ variable ¡can ¡be ¡handled ¡ independently! WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 9 ¡

SequenHal ¡Ensemble ¡Filter ¡ 6. ¡Advance ¡model ¡to ¡Hme ¡of ¡next ¡observaHon. ¡Usually ¡many ¡observaHons ¡ assimilated ¡at ¡same ¡model ¡Hme, ¡so ¡no ¡need ¡for ¡forecast ¡between ¡these. ¡ WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 10 ¡

Constraints ¡on ¡Parallel ¡DART ¡Ensemble ¡Filter ¡ ¡ Ø Most ¡models ¡not ¡designed ¡with ¡ensembles ¡in ¡mind ¡ ¡Geophysical ¡models ¡o_en ¡have ¡domain ¡decomposiHon ¡with ¡haloes ¡ ¡Large ¡subdomains ¡-­‑> ¡less ¡communicaHon ¡and ¡redundant ¡computaHon ¡ Ø All ¡ensemble ¡members ¡for ¡a ¡state ¡variable ¡or ¡observaHon ¡ must ¡be ¡on ¡the ¡same ¡process ¡ ¡Otherwise ¡communicaHon ¡costs ¡would ¡dominate ¡because ¡of ¡repeated ¡ computaHon ¡of ¡mean ¡and ¡variance ¡ Ø Transpose ¡of ¡data ¡storage ¡between ¡forecasts ¡and ¡DA ¡ ¡Almost ¡all ¡state ¡variables ¡must ¡be ¡moved ¡to ¡different ¡process ¡ ¡But ¡can ¡be ¡done ¡on ¡local ¡subsets ¡of ¡processes ¡ ¡This ¡must ¡be ¡done ¡very ¡efficiently ¡on ¡large ¡machines ¡ ¡ WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 11 ¡

Some ¡SimplificaHons ¡for ¡this ¡Talk ¡ Ø Just ¡look ¡at ¡univariate ¡horizontal ¡model ¡grid ¡ ¡Earth ¡system ¡models ¡generally ¡have ¡verHcal ¡ columns ¡and ¡mulHple ¡variables ¡at ¡each ¡point ¡ ¡Model ¡state ¡is ¡rarely ¡distributed ¡in ¡the ¡verHcal ¡ Ø Extending ¡to ¡three ¡dimensional ¡mulHvariate ¡ case ¡is ¡straight ¡forward ¡ WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 12 ¡

CompuHng ¡Forward ¡Operators ¡ Ø Forward ¡operator ¡h ¡is ¡an ¡arbitrary ¡funcHon ¡of ¡state ¡variables ¡ Ø O_en ¡‘local’ ¡funcHon ¡of ¡state ¡(interpolaHon) ¡ Ø Can ¡be ¡complex ¡and ¡non-­‑local ¡(radio ¡occultaHon ¡ray ¡tracing) ¡ WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 13 ¡

CompuHng ¡Forward ¡Operators ¡ Ø We ¡use ¡MPI-­‑2 ¡non-­‑blocking ¡remote ¡memory ¡direct ¡access ¡ Ø One ¡process ¡computes ¡h ¡for ¡all ¡ensemble ¡members ¡ Ø Grabs ¡any ¡required ¡state ¡variables ¡from ¡other ¡processes ¡ Ø Number ¡of ¡messages ¡minimized ¡if ¡adjacent ¡state ¡is ¡on ¡same ¡ process ¡ Ø CommunicaHon ¡volume ¡minimized ¡if ¡local ¡state ¡is ¡on ¡ process ¡compuHng ¡h ¡ WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 14 ¡

Ensemble ¡Filter ¡for ¡Large ¡Geophysical ¡Models ¡ Bayes ¡says ¡‘unrelated’ ¡obs ¡can ¡be ¡processed ¡simultaneously! ¡ ¡ LocalizaHon ¡of ¡observaHon ¡impact ¡is ¡required ¡for ¡good ¡ensemble ¡filters ¡ ¡ ObservaHons ¡that ¡are ¡not ¡‘close’ ¡by ¡localizaHon ¡are ¡‘unrelated’ ¡ Theory: ¡impact ¡of ¡‘unrelated’ ¡ observaHon ¡increments ¡on ¡ each ¡state ¡variable ¡can ¡be ¡ applied ¡in ¡any ¡order. WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 15 ¡

Parallelizing ¡Processing ¡of ¡ObservaHons ¡ Ø Find ¡subsets ¡of ¡‘unrelated’ ¡observaHons ¡ Ø Want ¡minimum ¡number ¡of ¡subsets ¡ Ø Forward ¡operators ¡and ¡observaHon ¡increments ¡ can ¡be ¡done ¡in ¡parallel ¡ Ø All ¡state ¡variables ¡must ¡be ¡incremented ¡before ¡ next ¡subset ¡ WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 16 ¡

Parallelizing ¡Processing ¡of ¡ObservaHons ¡ Ø Finding ¡minimum ¡number ¡of ¡subsets ¡with ¡observaHons ¡ that ¡aren’t ¡close ¡ Ø This ¡is ¡a ¡mutual ¡exclusion ¡scheduling ¡problem ¡ ¡ (common ¡in ¡computer ¡science) ¡ ¡ Ø Equivalent ¡to ¡a ¡map ¡coloring ¡problem: ¡ Find ¡minimum ¡number ¡of ¡colors ¡for ¡a ¡‘map’ ¡of ¡observaHons ¡such ¡ that ¡no ¡two ¡close ¡observaHons ¡have ¡the ¡same ¡color ¡ ¡ WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 17 ¡

Solving ¡the ¡Map ¡Coloring ¡Problem ¡ Ø Exact ¡soluHon ¡is ¡NP-­‑hard ¡(very, ¡very ¡expensive) ¡ Ø Cheap ¡algorithms ¡can ¡give ¡approximate ¡answers ¡ Ø Use ¡a ¡greedy ¡algorithm, ¡chooses ¡coloring ¡without ¡ global ¡informaHon ¡ Ø Decreasing ¡Greedy ¡Mutual ¡Exclusion ¡(DGME) ¡ WMO ¡DA ¡Symposium: ¡7 ¡Oct. ¡2013 ¡ 18 ¡