Charm++ Workshop May 7, 2012 LLNL-PRES-556396 This work was - PowerPoint PPT Presentation

Charm++ Workshop May 7, 2012 LLNL-PRES-556396 This work was performed under the auspices of the U.S. Department of Energy by Lawrence Livermore National Laboratory under contract DE-AC52-07NA27344. Lawrence Livermore National Security, LLC

§ A bit on my background § Some ASC perspective on exascale planning § Multi-physics applications, and the challenges they present § Co-design and proxy applications § Efforts ongoing at LLNL in tackling exascale challenges § Programming models survey Lawrence Livermore National Laboratory 2 LLNL-PRES-556396

Sustained ¡joint ¡government ¡and ¡industry ¡research ¡and ¡ development ¡is ¡needed ¡to ¡revolutionize ¡processors, ¡power, ¡ and ¡programming. ¡ ¡ Technical ¡issues ¡ • System ¡power ¡ • Memory ¡ • Programming ¡ model ¡ ¡ • Operating ¡ ¡ system ¡ • Reliability ¡and ¡ resiliency ¡ Given ¡the ¡magnitude ¡of ¡the ¡proposed ¡investments, ¡the ¡novelty ¡and ¡challenges ¡of ¡a ¡Science-­‑ NNSA ¡joint ¡effort ¡and ¡the ¡lack ¡of ¡broad ¡government ¡consensus ¡on ¡the ¡requirements ¡for ¡ exascale, ¡building ¡this ¡program ¡has ¡been ¡extraordinarily ¡difficult…. ¡ 3 ¡ Lawrence Livermore National Laboratory

CY2008-­‑2009 ¡ Scientific Grand Challenges Workshops § Science ¡drives ¡Scientific ¡Grand ¡Challenge ¡Workshops ¡ • Climate Science (11/08) High Energy Physics (12/08) ¡CY2009 ¡ § Nuclear Physics (1/09) ASC ¡and ¡ASCR ¡charter ¡laboratories ¡to ¡develop ¡a ¡Exascale ¡ • Fusion Energy (3/09) Roadmap ¡ ¡(E7 ¡Group) ¡ Nuclear Energy (5/09) CY2010 ¡ § Biology (8/09) HQ ¡Briefings ¡to ¡Koonin ¡and ¡D’Agostino ¡ • Material Science and Chemistry (8/09) Decadal ¡Cost ¡Est: ¡<= ¡$6B ¡ ¡ National Security (10/09) • NNSA ¡= ¡$3B ¡($2B+) ¡& ¡Science ¡= ¡$3B ¡($1B+) ¡ Cross-cutting technologies (2/10) • Presentations ¡to ¡OMB ¡by ¡ASCR ¡and ¡ASC ¡ • NNSA ¡workshop ¡on ¡SW ¡requirements ¡for ¡exascale ¡ • CY2011 ¡ § If ¡we ¡don’t ¡make ¡aggressive ¡changes ¡to ¡ OMB ¡pass ¡back ¡for ¡FY12 ¡forces ¡slow ¡start ¡$126M ¡ • our ¡ASC ¡apps ¡to ¡account ¡for ¡fine-­‑ ~$40M ¡Science ¡and ¡$6M ¡ASC ¡is ¡“new” ¡ — grained ¡parallelism, ¡and ¡we ¡end ¡up ¡ Science ¡codesign ¡effort ¡launched ¡ • with ¡bandwidth ¡and ¡capacity ¡memory ¡ Senate ¡Letter ¡“cannot ¡cede ¡leadership” ¡to ¡Obama ¡ • limitations ¡– ¡the ¡impact ¡is ¡that ¡effective ¡ Kusnezov ¡ ¡“what ¡if ¡we ¡do ¡nothing?” ¡exercise ¡ • utilization ¡of ¡machines ¡remains ¡largely ¡ Congress ¡requests ¡a ¡Plan ¡of ¡HQ ¡– ¡public ¡on ¡March ¡21. ¡ flat, ¡even ¡as ¡they ¡become ¡> ¡100x ¡faster ¡ • Will ¡focus ¡more ¡on ¡research ¡first, ¡platforms ¡later ¡as ¡ in ¡peak ¡performance. ¡ opposed ¡to ¡ ab ¡initio ¡ integrated ¡effort ¡ HQ ¡disbands ¡E7 ¡‘planning ¡group’ ¡and ¡replaces ¡with ¡E7 ¡ • “exascale” ¡execs ¡– ¡focused ¡on ¡‘execution’ ¡ ¡ ¡ Lawrence Livermore National Laboratory

§ China ¡has ¡three ¡(3) ¡architectural ¡tag ¡teams ¡ Sequoia ¡(?) ¡ Have ¡recently ¡held ¡#1 ¡position ¡ • Largely ¡US ¡technology ¡today, ¡but…. ¡ • China ¡#1 ¡ Exascale ¡by ¡2018/19 ¡(?) ¡ • Nov ¡‘10 ¡ increasingly ¡indigenous ¡technology ¡ — Have ¡told ¡Intel ¡they ¡will ¡hold ¡all ¡ ¡the ¡top ¡ten ¡spots ¡by ¡ • 2015 ¡ Next: ¡a ¡concerted ¡effort ¡on ¡apps: ¡defense, ¡industrial ¡ • applications ¡and ¡science ¡ ¡ § Leadership ¡is ¡another ¡word ¡for ¡control ¡ Minoru ¡Nomura ¡– ¡Science ¡and ¡Technology ¡Trends ¡ ¡ Control ¡the ¡arc ¡of ¡high ¡end ¡IT ¡innovation ¡for ¡the ¡coming ¡ • Quarterly ¡review ¡No. ¡21 ¡Jan ¡2012 ¡ ¡ decades ¡ Compete ¡effectively ¡in ¡energy ¡economy ¡ • Out ¡compute ¡in ¡nuclear ¡design ¡and ¡in ¡assessment ¡of ¡ • adversary’s ¡devices? ¡ ¡ “China is developing three new members of its home-grown Godson family of microprocessors. The most powerful new member of the family, Godson-3C, will have 16 CPU cores.” � 3GHz * 16 * 8 = 384 GF/s/Processor � Futuristic ¡Chinese ¡Center ¡planned ¡for ¡Exascale ¡ Lawrence Livermore National Laboratory

PCF ¡Target ¡ performance ¡ 1000.0 ¡ failure ¡ (capability ¡runs) ¡ modes ¡ PCF ¡pegpost ¡example ¡app ¡needs ¡ ¡ ¡ 3D ¡ ¡ burn ¡ vendor ¡targets ¡(no ¡ investment) ¡ 100.0 ¡ ¡ mix ¡ Peak ¡performance ¡ UQ ¡Requirements ¡ (limited ¡by ¡memory ¡ Pflops/sec ¡ (lower ¡bound, ¡2D) ¡ size) ¡ 10.0 ¡ ¡ Peak ¡performance ¡ (limited ¡by ¡mem ¡size ¡ and ¡bandwidth) ¡ 1.0 ¡ Assumes ¡enhanced ¡physics ¡data ¡tables ¡ 0.1 ¡ MPS ¡ 2009 ¡ 2010 ¡ 2011 ¡ 2012 ¡ 2013 ¡ 2014 ¡ 2015 ¡ 2016 ¡ 2017 ¡ 2018 ¡ 2019 ¡ 2020 ¡ ASC ¡apps ¡require ¡major ¡work ¡to ¡avail ¡fine-­‑grained ¡parallelism. ¡Vendor ¡roadmaps ¡currently ¡incur ¡ memory ¡bandwidth ¡and ¡capacity ¡limitations. ¡Thus, ¡effective ¡utilization ¡of ¡machines ¡remains ¡largely ¡ flat ¡(bottom ¡curve), ¡even ¡with ¡> ¡100x ¡peak ¡performance. ¡ASC ¡programmatic ¡demands ¡continue ¡ rising ¡(PCF ¡pegposts ¡and ¡UQ ¡curves ¡above) ¡ Lawrence Livermore National Laboratory

Often > 10 physics packages § 10 to ~30 third party libraries § Long life-time projects with >1 million lines of code § 15+ years of development by large teams (10 – 20+ FTEs) § Many different spatial, temporal scales § Variety of parallelism approaches § Steerable / interactive interfaces § Multi-language (C++, C, Fortran90, Python) § End users are typically not developers (no ability to just fix and recompile) § All have adapted excellent SQA processes for major evolutionary restructuring § Algorithms tuned for minimal turn-around time instead of maximal § computational efficiency We must continue to deliver our programmatic mission while addressing the needs of next generation advanced architectures. Lawrence Livermore National Laboratory 7 LLNL-PRES-551777

HEDP ¡Example ¡ Improved ¡ Laser-Plasma Physics ¡ Interaction (LPI) � Laser ¡beam ¡effects ¡ • Non-LTE plasma Plasma ¡blow-­‑off ¡ • blow-off � Improved ¡ and ¡effect ¡on ¡ Resolution ¡ drive, ¡symmetry ¡ 3D capsule implosion & Capsule ¡implosion ¡ • (multi-­‑scale, ¡ explosion � details ¡ time/space) ¡ Explosion ¡ • symmetry ¡ Atomic ¡physics ¡ • Line ¡radiation ¡ • transport ¡ In-situ diagnostic modeling � 3D capsule drive � Improved ¡Understanding ¡ (predictive ¡capability) ¡ Lawrence Livermore National Laboratory SOS16, ¡Santa ¡Barbara ¡CA, ¡March ¡13-­‑15 ¡2012 ¡ Lawrence Livermore National Laboratory

• Below are examples of some common physics packages • Typical characteristics of each package are listed, with those that typically limit performance listed in red Typical Hydrodynamics Deterministic Monte Carlo Diffusion Characteristics Transport Transport Memory needs 0.1 - 1 KB/zone 40 - 240 KB/zone 3 - 30 KB/zone 0.1 - 1 KB/zone Memory access Regular with Regular, low Irregular, low Regular, good pattern modest spatial and spatial but high spatial and spatial and temporal locality temporal locality temporal locality temporal locality Communication Point to point, Point to point, Point to point, Collective pattern surface some volume some volume communications communication and point to point Mflops per zone 0.02 – 0.1 (10X for 2 – 12 .03 - .07 0.1 - 3 per cycle iterative schemes) I/O (startup data) 20-160 MB (EOS) 0.3 - 12 MB 100 - 300 MB 0.1 - 1 KB/zone (Nuclear) (Nuclear) Lawrence Livermore National Laboratory 9 LLNL-PRES-556396

Charm++ SWARM Evolve existing code bases Undertake new “from scratch” rewrite • Gain experience with massive scaling (Sequoia) • Evaluate and gain experience • Implement fine-grained ? with new programming models threading • Develop proxy applications to • Application-controlled streamline explorations resilience • Determine degree of rewrite • GPU directives needed (if any) • Leverage validated code base It’s too early to choose a technology to rewrite our applications HOWEVER It’s never too early to explore and influence promising technologies Lawrence Livermore National Laboratory 10 LLNL-PRES-556396