Why Exascale Computing will be slightly less disruptive than the - PowerPoint PPT Presentation

Why Exascale Computing will be slightly less disruptive than the comet that killed the dinosaurs Numerical ¡Methods ¡for ¡Large-­‑Scale ¡Nonlinear ¡Problems ¡ and ¡Their ¡Applica<ons ¡ ICERM, ¡Providence, ¡RI ¡ Jeffrey ¡A. ¡F. ¡Hi,nger ¡ ¡ Center ¡for ¡Applied ¡Scien<fic ¡Compu<ng ¡ August 4, 2015 Dinosaur Extinction by kbeis / iStock LLNL-PRES-675882 This work was performed under the auspices of the U.S. Department of Energy by Lawrence Livermore National Laboratory under contract DE-AC52-07NA27344. Lawrence Livermore National Security, LLC

What ¡are ¡things ¡one ¡can ¡find ¡in ¡museums… ¡ Stegosaur and Allosaur by Luke Jones / CC BY 2.0 Cray-1 by Ed Toton / Wikimedia Commons / Public Domain 2 ¡ LLNL-PRES-675882

Our ¡exascale ¡“comet” ¡approaches… ¡ www.gifmania.co.uk National Strategic Computing Initiative Executive Order 13702 (July 29, 2015) Create systems that can apply exaflops of computing power to exabytes of data 3 ¡ LLNL-PRES-675882

We ¡lack ¡the ¡computing ¡power ¡to ¡tackle ¡Grand ¡ Challenge ¡Science ¡problems ¡ Combustion ¡ Climate ¡ Materials ¡ • High-­‑pressure, ¡turbulent ¡ • Coupling ¡atmosphere, ¡ • Transient ¡mesoscale ¡ reacting ¡flow ¡ ¡ oceans, ¡ice ¡sheets, ¡land ¡ behavior ¡of ¡new ¡ mass, ¡biosphere ¡ materials ¡ • Complex ¡moving ¡ geometry ¡ • Global ¡to ¡microscopic ¡ • Search ¡for ¡novel, ¡ optimal ¡materials ¡ • Multiphase: ¡fuel ¡ • Catastrophic ¡rare ¡events ¡ injection ¡and ¡soot ¡ • Model ¡from ¡nanometers ¡ • Extreme ¡weather ¡ to ¡microns, ¡ • Stochasticity ¡ patterns ¡ femtoseconds ¡to ¡ • Optimal ¡engine ¡design ¡ ¡ • Assessments ¡for ¡policy ¡ ¡ minutes ¡ Need (at least) exascale computing resources 4 ¡ LLNL-PRES-675882

What ¡is ¡an ¡exascale-­‑class ¡machine? ¡ ASCI Red Road Runner K Computer Sequoia Exascale 2000 2008 2011 2012 2023 Year Peak 1.3e12 1.7e15 11.3e15 20.1e15 1.2e18 (Flops) Linpack 1.0e12 1.0e15 10.5e15 16.3e15 1.0e18 (Flops) 9,298 130,464 705,024 1,572,864 1e9 Total Cores 9,298 12,960(6,912) 88,128 98,304 1e6 Processors 1 9(2) 8 16 1e3 Cores/Proc 0.85 2.35 9.89 7.9 ~20 Power (MW) Adapted from B. Harrod, “DOE Exascale Computing Initiative Update,” Aug 15, 2012 5 ¡ LLNL-PRES-675882

Power ¡has ¡become ¡the ¡dominant ¡constraint ¡ Based on current technology, scaling today’s systems to an exaflop level would consume more than a gigawatt of power, roughly the output of Hoover Dam – ¡ 2012 ¡ASCAC ¡Report ¡“The ¡Opportunities ¡and ¡Challenges ¡of ¡Exascale ¡Computing” ¡ Using commodity hardware: Exascale Machine: $100B Annual Power Bill: $1B Phenomenal science: Priceless Hoover Dam at Night, Tex Roy Bean, CC BY-SA 3.0 6 ¡ LLNL-PRES-675882

Power ¡is ¡also ¡driving ¡architecture ¡changes ¡ 35 YEARS OF MICROPROCESSOR TREND DATA • Power densities limit clock speeds • More cores and specialized accelerators Transistors 10 7 ( thousands ) • Data motion costs on-chip and off-chip • Volatile memory (DRAM) is power-hungry 10 6 10 5 Single-thread Performance (SpecINT) 10 4 Frequency (MHz) 10 3 Typical Power 10 2 (Watts) Number of Cores 10 1 10 0 1975 1980 1985 1990 1995 2000 2005 2010 2015 Original data collected and plotted by M. Horowitz, F. Labonte, O. Shacham, K. Olukotun, L. Hammond and C. Batten. Dotted line extrapolations by C. Moore. From C. Moore, “Data Processing in Exascale-Class Computer Systems,” Salishan, 2014 7 ¡ LLNL-PRES-675882

Future ¡Node ¡Architectures ¡will ¡have ¡many ¡ cores ¡and ¡deep ¡memory ¡hierarchies ¡ DRAM ¡ Latency ¡Op+mized ¡ DRAM ¡ Bulky ¡Cores ¡ DRAM ¡ DRAM ¡ NVRAM: ¡ Burst ¡ Buffers ¡/ ¡rack-­‑ local ¡storage ¡ Integrated ¡ NIC ¡ ¡ Based ¡on ¡slide ¡from ¡J. ¡Shalf ¡ 8 ¡ LLNL-PRES-675882

Exascale ¡computing ¡introduces ¡several ¡ fundamental ¡challenges ¡ Extreme ¡ Limited ¡ Data ¡Locality ¡ Resilience ¡ Concurrency ¡ Memory ¡ • Transfer ¡gains ¡less ¡ • Massive ¡number ¡ • Processing ¡units ¡ é é ¡ ¡ • Memory ¡gains ¡less ¡ than ¡processing ¡ of ¡components: ¡ than ¡processing ¡ • Bulk-­‑synchronous ¡ hard ¡faults ¡ é é • Bandwidth/core ¡ ê ê will ¡not ¡scale ¡ • Memory/core ¡ ê ê ¡ • Running ¡closer ¡to ¡ • Energy ¡and ¡time ¡ • Concurrency ¡ é é ¡ • Minimize ¡memory ¡ threshold ¡voltage: ¡ penalties ¡for ¡data ¡ usage ¡ • Synchronization ¡ ê ê ¡ soft ¡faults ¡ é é motion ¡ • Deeper ¡, ¡ • Communication ¡ ¡ ê ê ¡ • Bulk-­‑synchronous ¡ • Greater ¡need ¡for ¡ heterogeneous ¡ • Dynamic ¡task ¡ checkpoint ¡restart ¡ data ¡locality ¡ memory ¡ parallelism ¡ ¡ is ¡dead ¡ ¡ hierarchies ¡ • Reduce ¡data ¡ transfers ¡ 9 ¡ LLNL-PRES-675882

Hardware ¡improvements ¡are ¡not ¡enough ¡ O ( N p ) Machine improvements Model and algorithm tend to improve base or improvements can coefficient improve exponent Mathematics by Robert Scarth / CC BY-SA 2.0 10 ¡ LLNL-PRES-675882

Will ¡Algorithms ¡for ¡Exascale ¡be… ¡ Mick Tsikas, Reuters 11 ¡ LLNL-PRES-675882

DOE ¡ASCR ¡chartered ¡an ¡Exascale ¡Applied ¡ Mathematics ¡Working ¡Group ¡ Identify: Charge ¡ • gaps in thinking about exascale • new algorithmic approaches • new scientific questions • a more holistic approach Jack Dongarra* Jeff Hittinger* John Bell Paul Hovland Team ¡ Luis Chacon Esmond Ng Rob Falgout Clayton Webster Mike Heroux Stefan Wild *co-chairs Process ¡ • Community Workshop (Aug 2013) • Fact-finding teleconferences • Grand Challenge reports 12 ¡ LLNL-PRES-675882

An ¡organizing ¡principle ¡we ¡used ¡was ¡the ¡ concept ¡of ¡the ¡ Mathematics ¡Stack ¡ • Understanding the results • Expressing the problem • Questions to be answered? • Trusting the results Problem Formulation • Data and dimension • Expressing mathematical mathematically • Solving the discrete system • Relevant processes & • Robustness to errors reduction model discretely Decisions in any one • Appropriate multiscale and • Eigensolvers scales? • Faults • Automated analysis • Discretization in space / time can significantly Mathematical Modeling multiphysics models? • Single forward simulation? • Linear and nonlinear solvers • Round-off error • Integration of models, • Splitting between operators impact the others • Coupling between models? • ODE integrators • Inverse problem? • Discretization error and spatial domains experiments, observations & • UQ formulation? • Optimization? UQ? • Iteration error Model Discretization simulations • Optimization formulation? Numerical Solvers Data Analysis Robustness and Correctness Areas outside of this conceptual organization: § Optimization and optimal control for system management § Discrete mathematics and graph analysis § Finite state machines and discrete event simulation 13 ¡ LLNL-PRES-675882

Mathematical ¡Modeling: ¡Uncertainty ¡ quantification ¡plays ¡a ¡larger ¡role ¡at ¡exascale ¡ ¡ We must be clever in combating the curse of dimensionality § Adap<ve ¡hierarchical ¡methods ¡ Performance Increase 3D FEM Nonlinear Diffusion § Advanced ¡mul<level ¡methods ¡ Phipps, Edwards, Hu, Webster, Equinox project, ASCR XUQ — Model ¡hierarchies ¡ Blue$Gene/Q$ 1$MPI$Rank/Node,$64$Threads/Rank$ — Stochas<c ¡hierarchies ¡ (~$64x64x64$Mesh/Node)$ 4.5$ PCG$Solve$ Ensemble$$Speed5Up$ 4.0$ Ensemble$=$16$ § Architecture-­‑aware ¡UQ ¡ 3.5$ PCG$Solve$ 3.0$ Ensemble$=$32$ 2.5$ AMG$Setup$ § Adap<ve ¡and ¡robust ¡methods ¡for ¡ 2.0$ Ensemble$=$16$ 1.5$ fusing ¡computa<on ¡and ¡experimental ¡ AMG$Setup$ 1.0$ Ensemble$=$32$ 1$ 2$ 4$ 8$ 16$ 32$ 64$128$ data ¡ Nodes$ 14 ¡ LLNL-PRES-675882

Mathematical ¡Modeling: ¡Exascale ¡will ¡enable ¡ the ¡solution ¡of ¡new ¡optimization ¡problems ¡ Branch and Bound Tree for MIPDECO • MIPDECOs generate huge search trees • Each node is PDE- constrained optimization § Concurrent-­‑point ¡methods ¡ [Leyffer & Mahajan] § Mixed-­‑integer, ¡simula<on-­‑based, ¡and ¡global ¡op<miza<on ¡ § Mul<-­‑fidelity ¡hierarchies ¡ § Robust ¡op<miza<on ¡and ¡op<miza<on ¡under ¡UQ ¡ § Op<mal ¡design ¡and ¡coupling ¡of ¡experiments ¡ 15 ¡ LLNL-PRES-675882