Large-Scale Astronomy data- management at NCSA 30 minutes) - PowerPoint PPT Presentation

Large-Scale Astronomy data- management at NCSA 30 minutes) National Center for Supercomputing Applications University of Illinois at Urbana-Champaign

NCSA/U of I Astronomy • Currently in Production • BIMA/CARMA millimeter radio array + Archive. • (U of I Astronomy) • South Pole Telescope. • (U of I astronomy) • DES -- Dark Energy Survey. • (NCSA) • In construction: • LSST • (NCSA) • Next door: ATLAS distributed T-2 (Physics) • NCSA supports the campus cluster where it residse Lyon Meeting

Notes on Astronomy Section Organization Lyon Meeting 5/27/15

reports to member of communication DES ¡Project ¡Office ¡ J. ¡Frieman, ¡Director ¡ R. ¡Kron, ¡Deputy ¡Director ¡ T. ¡Diehl, ¡Opera>ons ¡Scien>st ¡ G. ¡Bernstein, ¡Project ¡Scien>st ¡ K. ¡Honscheid, ¡Systems ¡Scien>st ¡ Management ¡CommiJee ¡ D. ¡Petravick, ¡DESDM ¡PI ¡ Execu>ve ¡CommiJee ¡ (Collabora>on ¡Affairs) ¡ (Opera>ons) ¡ Ins>tu>onal ¡Reps ¡ Opera>ons ¡Leads ¡ Science ¡CommiJee ¡ G. ¡Bernstein ¡ Early ¡Career ¡ O. ¡Lahav ¡ DES ¡Data ¡Management ¡ Scien>sts ¡ Publica>ons ¡Board ¡ DES ¡Observing ¡ D. ¡Petravick ¡ B. ¡Flaugher ¡ K. ¡Honscheid ¡ Systems ¡ ¡ B. ¡Yanny ¡ T. ¡Kacprzak ¡ ¡T. ¡Diehl ¡ R. ¡Gruendl ¡ Supernovae ¡ Clusters ¡ B. ¡Nichol ¡ ¡ C. ¡Miller ¡ M. ¡Sako ¡ J. ¡Mohr ¡ DECam ¡Opera>ons ¡ ¡ Membership ¡ Speakers ¡Bureau ¡ A. ¡Walker, ¡T. ¡Diehl ¡ CommiJee ¡ Survey ¡Strategy ¡ ¡ ¡ B. ¡Flaugher ¡ ¡K. ¡Honscheid ¡ ¡ D. ¡Gerdes ¡ E. ¡Neilsen ¡ Weak ¡Lensing ¡ LSS ¡ S. ¡Heathcote ¡ S. ¡Bridle ¡ E. ¡Gaztanaga ¡ B. ¡Jain ¡ A. ¡Ross ¡ Educa>on/Public ¡ Collabora>on ¡ Science ¡Analysis ¡ Calibra>on ¡ Outreach ¡ Mtg. ¡Steering ¡ Simula>ons ¡ Compu>ng ¡ D. ¡Tucker ¡ Photo-­‑z ¡ B. ¡Nord ¡ CommiJee ¡ G. ¡Evrard ¡ E. ¡Buckley-­‑Geer ¡ S. ¡Kent ¡ F. ¡Castander ¡ K. ¡Romer ¡ S. ¡Bridle ¡ K. ¡Heitmann ¡ S. ¡Kent ¡ H. ¡Lin ¡ R. ¡Wechsler ¡ Milky ¡Way ¡ Strong ¡Lensing ¡ Gal. ¡Evolu>on ¡ QSOs ¡ Theory ¡ Spectroscopy ¡ B. ¡San>ago ¡ E. ¡Buckley-­‑Geer ¡ D. ¡Thomas ¡ P. ¡Mar>ni ¡ S. ¡Dodelson ¡ F. ¡Abdalla ¡ B. ¡Yanny ¡ A. ¡Amara ¡ M. ¡Banerji ¡ R. ¡McMahon ¡ J. ¡Weller ¡ C. ¡D’Andrea ¡ Lyon Meeting

Experience (Infrastructure) • NCSA Supercomputing program: • XSEDE national cyber structure • Blue waters – 200,000 cores. (25 PB disk, ½ ExB tape) • NCSA Private Sector program cluster. • DES and experience in the Astronomy Group: • High Energy Physics (LHC, Run II, etc.) • DES use of facilities at • NERSC • FERMILAB (Open Science Grid) • LSST • LSST security Officer (Alex Withers) is at NCSA, ex Brookhaven Lab Lyon Meeting

ISL pipeline Need Need Technology Development and Production Research evaluation implementation use Research at industry/ ISL engages at the early ISL builds prototypes academia leads to stages of technology and puts together Technology becomes technology development development to evaluate components necessary mature and the larger which may or may not be its suitability for future for the technology to community starts to suitable for scientific use in production become usable in sustain the effort computing environments production environments “ISL actively seeks new partnerships with external collaborators in Technology and applications areas related to data-intensive computing.” Lyon Meeting

DES Overview • Science: probe cosmic acceleration with 4 techniques: • Clusters, Weak Lensing, Large-scale Structure, Supernovae • Two multiband imaging surveys: • 5000 deg2 grizY: positions, shapes, photo-z’s for 200 million galaxies, 100,000 clusters • 30 deg2 griz time-domain survey: light curves for 3500 type Ia supernovae • Collaboration-built DECam: 3 deg 2 FOV, 570-megapixel imager and 5- element optical corrector for Blanco 4-meter telescope at CTIO. • Data management (DESDM) system to produce science-ready data products. • Five-year (525-night) survey began Aug. 2013. • Observing Seasons run Aug.-Feb. • Nearly 2/3 through 2nd season Lyon Meeting

DES Context • What is the physical origin of cosmic acceleration? • Dark Energy (DE) or Modification of Gravity? • Determine DE Equation of State parameter & its time evolution • The requisite measurements are challenging • Multiple methods needed, control of systematics paramount • Dark Energy Task Force (DETF, 2006): • Stage III: DES (imaging), BOSS/eBOSS (spectroscopy), (HSC, KIDS) • Stage IV: LSST (imaging) 2022-, DESI (spectroscopy) 2018-, (Euclid, WFIRST) • Imaging and spectroscopic surveys provide complementary probes. Lyon Meeting

Production process (too simple) bpm xtalk pupil Visual Collaboration inspection PhotoZ linearity illum fringe SV Data First PhotCal ME Survey Cut mangle Single Table Epoch Science Coadd Raw SNE DIff ME WL SE SISPI Final SE GCM Cut Single mangle Raw Epoch Zeros, Flats Precal( SuperCal( Bias, Bias, SE WL Flats) Flats) Lyon Meeting 5/27/15

Current DES Lyon Meeting 5/27/15

Dark Energy Survey Production • Building blocks: • Central storage (~2PB) in NCSA central storage condominium. • 125 core, 100 (usable) TB table space • Grid Model for Bulk Computing (next slide) • Cluster for central services (~10 nodes) • Job management (condor) • File transfer (http/s, gridFTP, r sync). • Quality assurance • Ongoing development • Running less mature pipelines

Bulk Computing Platforms Capablilty ¡ Descrip/on ¡ Challenges ¡ 200,000 ¡core ¡extreme ¡ machines, ¡25PB ¡lustre ¡file ¡ Limited ¡outbound ¡ Blue ¡Waters ¡ system ¡ connec>vity ¡-­‑-­‑ ¡just ¡relaxed ¡ Collec>on ¡of ¡servers, ¡CVMFS ¡ Single-­‑core ¡alloca>on ¡ file ¡system ¡for ¡so`ware; ¡large ¡ model ¡(being ¡relaxed), ¡ Fermigrid ¡(OSG) ¡ number ¡of ¡cores ¡available ¡ weak ¡central ¡file ¡system ¡ Batch ¡system ¡that ¡allow ¡ NERSC ¡ DOCKER ¡containers ¡ More ¡capacity ¡needed ¡ 600 ¡available ¡cores ¡w/ No ¡longer ¡large ¡enough ¡for ¡ competent ¡GPFS ¡file ¡system ¡ all ¡processing ¡ Private ¡Sector ¡Program ¡ condominium ¡holding ¡ 96 ¡core ¡dedicated ¡ inves>gator-­‑owned ¡computers, ¡ capability ¡-­‑> ¡500-­‑600 ¡ U ¡of ¡Illinois ¡Campus ¡Cluster ¡ idle ¡cycles ¡available ¡ dedicated ¡to ¡DES ¡in ¡2016 ¡ Weak ¡file ¡systems ¡for ¡ simula>on, ¡queue ¡wait ¡ >mes, ¡turn ¡around ¡need ¡ Na>onal ¡Cyber ¡infrastrucutre ¡ for ¡nightly ¡processing ¡ ¡ XSEDE ¡ oriented ¡towards ¡simula>on ¡