VERCE (&) e-Infrastructure Horst Schwichtenberg EGI Technical - PowerPoint PPT Presentation

Virtual ¡Earthquake ¡and ¡seismology ¡Research ¡Community ¡e-­‑science ¡environment ¡in ¡Europe ¡ Project ¡283543 ¡– ¡FP7-­‑INFRASTRUCTURES-­‑2011-­‑2 ¡– ¡www.verce.eu ¡– ¡info@verce.eu ¡ VERCE (&) e-Infrastructure Horst Schwichtenberg EGI Technical Forum Prague, 2012 www.verce.eu ¡ www.verce.eu ¡

Content ¡ • VERCE ¡project ¡ • VERCE ¡plaRorm ¡– ¡e-­‑infrastructure ¡(?) ¡ – BoWom ¡up: ¡ • testbed ¡ • plaRorm ¡– ¡workflow ¡– ¡DISPEL-­‑gateway ¡ • scienc]fic ¡gateways ¡ ¡ ¡ Providing ¡and ¡managing ¡a ¡research ¡plaRorm ¡ ¡ venue, ¡date ¡ www.verce.eu ¡

www.verce.eu ¡

www.verce.eu ¡

Main ¡Use ¡Cases/Applica]ons ¡ Toolbox ¡ ¡ www.verce.eu ¡

www.verce.eu ¡

Ini]al ¡Resources ¡ ¡ – Compute ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Public: ¡ • PRACE ¡(HPC) ¡sites: ¡ ¡LRZ, ¡CINECA ¡ ¡ ¡ ¡ • EGI-­‑Infrastructure ¡(GRID): ¡ ¡ESR ¡VO ¡ ¡ in ¡EGI-­‑Inspire, ¡ ¡VERCE ¡VO ¡ Private : ¡ • Department ¡resources : ¡UEDIN, ¡ULIV, ¡IPGP, ¡SCAI ¡ – Data ¡Center: ¡ ¡ • KNMI/ORFEUS ¡ • IPGP ¡ • INGV ¡ – Storage: ¡ ¡ ¡ • UEDIN ¡ • ULIV ¡ Orfeus: ¡Seismic ¡monitor ¡ www.verce.eu ¡

Monitoring ¡Strategy ¡ ¡ Accumulate ¡monitoring ¡informa]on ¡from ¡the ¡underlying ¡compute ¡and ¡data ¡ • resources ¡ – Relevant ¡service ¡events ¡will ¡be ¡extracted ¡for ¡the ¡workflow ¡ ¡ • Synchronize ¡monitoring ¡possibili]es ¡of ¡the ¡plaRorm ¡components: ¡ – Workflow ¡components, ¡OGSA-­‑DAI, ¡… ¡ ¡ • The ¡main ¡different ¡monitoring ¡solu]ons ¡at ¡the ¡ini]al ¡resource ¡sides ¡are ¡iden]fied ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡mainly ¡NAGIOS ¡(EGI), ¡INCA ¡(PRACE/HPC) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Ini]al ¡integra]on ¡with ¡INCA ¡ ¡ ¡ www.verce.eu ¡

Community ¡Management ¡ VO ¡Concepts ¡evaluated : ¡ • ¡ ¡Provide ¡an ¡integrated ¡service ¡environment ¡to ¡the ¡seismology ¡community ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ VERCE ¡needs ¡to ¡manage ¡and ¡retrieve ¡informa]on ¡about: ¡ ¡Users ¡for ¡the ¡plaRorm ¡and ¡services, ¡personal ¡and ¡ins]tu]onal ¡informa]on, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡authorita]ve ¡group ¡membership ¡informa]on, ¡privileges , ¡… ¡ ¡ ¡ • ¡started ¡with ¡a ¡concept ¡of ¡virtual ¡organiza]on ¡ Set ¡up ¡virtual ¡membership ¡service ¡(VOMS) ¡ ¡for ¡EGI ¡resources ¡ ¡ – VOMS ¡ VERCE ¡ ¡VO ¡ ¡in ¡EGI ¡is ¡established ¡ ¡ ¡ – LDAP ¡Database ¡for ¡User ¡Authen]ca]on ¡and ¡Authoriza]on ¡(AA) ¡is ¡established ¡ – AA ¡by ¡Shibboleth ¡is ¡planed ¡ ¡(based ¡on ¡simple ¡LDAP, ¡ ¡access ¡to ¡service ¡by ¡SAML) ¡ – No ¡unified ¡solu]on ¡possible ¡at ¡the ¡moment ¡ – ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡e.g. ¡ ¡sites ¡ ¡have ¡their ¡own ¡policies ¡– ¡a ¡need ¡for ¡prac]cal ¡trust ¡solu]ons ¡ ¡ ¡ Include ¡data ¡center ¡policies ¡ ¡ ¡ – www.verce.eu ¡

¡Ini]al ¡Sokware ¡Components ¡ • Components ¡for ¡Secure ¡Access ¡to ¡resources: ¡ – Different ¡access ¡methods ¡in ¡use : ¡from ¡standard ¡(gsi)SSH ¡to ¡EUGridPMA ¡X.509 ¡ Cer]ficate ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Challenge : ¡No ¡federated ¡iden]ty ¡management ¡available ¡across ¡the ¡European ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡e-­‑infrastructures ¡ ¡ • VERCE ¡relevant ¡data ¡management ¡tools: ¡ – different ¡data ¡management ¡tools ¡and ¡ ¡ ¡ – different ¡ ¡technologies/protocols ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡E.g. ¡OGSA-­‑DAI ¡(see ¡ADMIRE), ¡IRODS, ¡ ¡SRM, ¡Arclink ¡and ¡GridFTP ¡ ¡ ¡ • Job ¡Management ¡tools ¡on ¡public ¡and ¡private ¡resources: ¡ – E.g. ¡LSF, ¡ ¡Torque ¡on ¡Clusters; ¡gLite ¡CREAM/WMS ¡on ¡Grid ¡ ¡ • Seismic ¡and ¡seismological ¡sokware ¡ ¡ – ¡E.g. ¡ObsPy, ¡rdseed, ¡SeisSol, ¡sec3D, ¡SpecFEM3D, ¡AxiSEM ¡ • First ¡Components ¡of ¡the ¡ini]al ¡VERCE ¡data ¡intensive ¡architecture ¡ ¡ – E.g. ¡OGSA-­‑DAI, ¡DISPEL ¡Workflow ¡ ¡ ¡ ¡ ¡ www.verce.eu ¡

¡Ini]al ¡Sokware ¡Components ¡ • Components ¡for ¡Secure ¡Access ¡to ¡resources: ¡ – Different ¡access ¡methods ¡in ¡use : ¡from ¡standard ¡(gsi)SSH ¡to ¡EUGridPMA ¡X.509 ¡ Cer]ficate ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Challenge : ¡No ¡federated ¡iden]ty ¡management ¡available ¡across ¡the ¡European ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡e-­‑infrastructures ¡ ¡ • VERCE ¡relevant ¡data ¡management ¡tools: ¡ – different ¡data ¡management ¡tools ¡and ¡ ¡ ¡ – different ¡ ¡technologies/protocols ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡E.g. ¡OGSA-­‑DAI ¡(see ¡ADMIRE), ¡IRODS, ¡ ¡SRM, ¡Arclink ¡and ¡GridFTP ¡ ¡ ¡ • Job ¡Management ¡tools ¡on ¡public ¡and ¡private ¡resources: ¡ – E.g. ¡LSF, ¡ ¡Torque ¡on ¡Clusters; ¡gLite ¡CREAM/WMS ¡on ¡Grid ¡ ¡ • Seismic ¡and ¡seismological ¡sokware ¡ ¡ – ¡E.g. ¡ObsPy, ¡rdseed, ¡SeisSol, ¡sec3D, ¡SpecFEM3D, ¡AxiSEM ¡ • First ¡Components ¡of ¡the ¡ini]al ¡VERCE ¡data ¡intensive ¡architecture ¡ ¡ – E.g. ¡OGSA-­‑DAI, ¡DISPEL ¡Workflow ¡ ¡ ¡ ¡ ¡ www.verce.eu ¡

VERCE ¡Workflow ¡Arcitecture ¡ Design ¡Workflows ¡by ¡DISPEL ¡ „Enactment ¡ ¡Gateways ¡are ¡Service ¡Provider ¡(Expansion ¡of ¡PaWerns) ¡ Interpre]ng ¡ ¡and ¡Execu]ng ¡Workflows ¡wriWen ¡in ¡DISPEL“ ¡ ¡ www.verce.eu ¡

Data-­‑Intensive ¡Process ¡Engineering ¡ Language ¡ • A ¡language ¡for ¡construc]ng ¡data-­‑flow ¡graphs ¡ – Nodes ¡are ¡processing ¡elements ¡ – Arcs ¡are ¡data-­‑flow ¡paths ¡ • A ¡language ¡for ¡genera]ng ¡data-­‑flow ¡paWerns ¡ designed ¡to ¡ encourage ¡data-­‑ – Func]ons ¡hide ¡detail ¡of ¡graphs ¡ intensive ¡ – Func]ons ¡generate ¡graphs ¡ thinking ¡ • A ¡language ¡for ¡discussing ¡data-­‑flow ¡engineering ¡ – Designed ¡to ¡be ¡read ¡and ¡wriWen ¡by ¡humans ¡ – As ¡well ¡as ¡by ¡programs ¡ – Supports ¡valida]on ¡and ¡op]misa]on ¡ www.verce.eu ¡

www.verce.eu ¡

VERCE ¡WORKFLOW ¡ DISPEL ¡ ¡ www.verce.eu ¡

Use ¡Case: ¡Seismic ¡Noise ¡Correla]on ¡ www.verce.eu ¡

The ¡correla]on ¡of ¡ambient ¡seismic ¡noise ¡full ¡workflow: ¡from ¡the ¡ raw ¡data ¡downloading ¡to ¡tomographic ¡images ¡and ¡velocity ¡varia]on ¡ models. ¡ www.verce.eu ¡

ObsPy ¡Toolbox ¡for ¡Seismology ¡ Arclink ¡ www.verce.eu ¡

High ¡Resolu]on ¡Tomography ¡from ¡3D ¡Full ¡Waveform ¡Inversion ¡ Construc]on ¡of ¡a ¡new ¡ • reference ¡3D ¡ tomographic ¡model ¡of ¡ the ¡Italian ¡lithosphere ¡ based ¡on ¡spectral-­‑ element ¡and ¡adjoint ¡ methods. ¡ ¡ Modeling ¡of ¡high ¡ • frequency ¡seismic ¡waves ¡ propaga]ng ¡on ¡complex ¡ 3D ¡structures. ¡ Refinements ¡of ¡ earthquake ¡source ¡ parameters ¡based ¡on ¡3D ¡ velocity ¡models. ¡ SPECFEM3D ¡ • www.verce.eu ¡

www.verce.eu ¡

www.verce.eu ¡

Contacts ¡ • "Jean-­‑Pierre ¡ViloWe" ¡viloWe@ipgp.fr ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(coordinator) ¡ • ¡"Malcolm ¡Atkinson" ¡mpa@staffmail.ed.ac.uk ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ VERCE ¡Architecure ¡(DISPEL, ¡ADMIRE/VERCE ¡Gateway) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡horst.schwichtenberg@scai.fraunhofer.de ¡ ¡ www.verce.eu ¡

www.verce.eu ¡