Patrick Fuhrmann (DESY) EMI Data Area lead EMI - PowerPoint PPT Presentation

EMI ¡INFSO-­‑RI-­‑261611 ¡ Patrick ¡Fuhrmann ¡(DESY) ¡ EMI ¡Data ¡Area ¡lead ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡

People • Alejandro Alvarez • Michele Dibenedetto • Alex Sim • Michail Salichos • Claudio Cacciari • Mischa Salle • Christian Loeschen • Oscar Koeroo • Dirk Duellmann • Oliver Keeble • Elisabetta Ronchieri • Paul Millar • Fabrizio Furano • Ralph Mueller-Pfefferkorn • Giuseppe Fiameni • Ricardo Rocha • Giacinto Donvito • Riccardo Zappi • Giuseppe Lo Presti • Tigran Mkrtchyan • Jon Kerr Nilsen • Zsolt Molnar • Jan Schaefer • Zsombor Nagy EMI ¡INFSO-­‑RI-­‑261611 ¡ • Jean-Philippe Baud • Michele Carpene EMI ¡INFSO-­‑RI-­‑261611 ¡ Our wiki : https://twiki.cern.ch/twiki/bin/view/EMI/EmiJra1T3Data Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 2 ¡

Outline EMI ¡INFSO-­‑RI-­‑261611 ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 3 ¡

EMI Factsheet EMI Factsheet Budget : about 24 Million Euros EMI ¡INFSO-­‑RI-­‑261611 ¡ Funding : about 50% by EU-FP7, rest by partners Covers : JRA, SA and NA EMI ¡INFSO-­‑RI-­‑261611 ¡ Partners : 22 Middlewares: Arc, gLite, UNICORE and dCache 16/09/2010 ¡ EMI ¡Overview ¡-­‑ ¡EGI ¡TF, ¡Amsterdam ¡ 4 ¡ Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 4 ¡

Why The European Middleware Initiative (EMI) project represents a close collaboration of the major European middleware providers - ARC, gLite, UNICORE and dCache - to establish a sustainable model to support, harmonise and evolve EMI ¡INFSO-­‑RI-­‑261611 ¡ distributed computing middleware for deployment in EGI, PRACE and other EMI ¡INFSO-­‑RI-­‑261611 ¡ distributed e-Infrastructures Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 5 ¡

EMI in context Stolen EGI, ¡PRACE, ¡ from Alberto Di Meglio WLCG,OSG ¡ SLAs & Requirements Releases Support ESFRI, ¡ Standards ¡ EMI ¡ VRCs ¡ Industry ¡ Collaborations Collaborations EMI ¡INFSO-­‑RI-­‑261611 ¡ DCI ¡collaboraAons ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ StratusLab ¡ VENUS-­‑C ¡ SIENA ¡ EDGI ¡ IGE ¡ 6 ¡ Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 6 ¡

What is EMI doing Stolen EMI ¡Middleware ¡Evolu8on ¡ from Alberto Di Meglio Before ¡EMI ¡ 3 ¡years ¡ A_er ¡EMI ¡ ApplicaAons ¡ Integrators, ¡System ¡ Administrators ¡ Specialized ¡services, ¡ professional ¡support ¡ and ¡customizaAon ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ EMI ¡Reference ¡Services ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ Standards, ¡ New ¡technologies ¡(clouds) ¡ dCache Users ¡and ¡Infrastructure ¡ Requirements ¡ Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 7 ¡

Why again ? EMI ¡INFSO-­‑RI-­‑261611 ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 8 ¡

When will it happen ? Stolen See Alberto Aimar’s Release ¡Plan ¡ from presentation for details Alberto Di Meglio (yesterday) Start ¡ EMI ¡0 ¡ EMI ¡1 ¡ EMI ¡2 ¡ EMI ¡3 ¡ Major ¡releases ¡ Supp. ¡& ¡Maint. ¡ Support ¡& ¡Maintenance ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ Support ¡& ¡Maintenance ¡ Support ¡& ¡Maintenance ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ 01/05/2010 31/10/2010 30/04/2011 30/04/2012 28/02/2013 Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 9 ¡

dCache, StoRM, ARGUS, VOMS, A-REX, UAS- Information EMI ¡INFSO-­‑RI-­‑261611 ¡ DPM, FTS, LFC, UNICORE-Gate, Compute, WMS, system, GFAL, arc-libs, gridSite, etc CREAM, MPI, accounting, UNICORE-SMS, etc bookkeeping etc EMI ¡INFSO-­‑RI-­‑261611 ¡ Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 10 ¡

EMI data layout EMI ¡INFSO-­‑RI-­‑261611 ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 11 ¡

EMI workplan (activities) EMI ¡INFSO-­‑RI-­‑261611 ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 12 ¡

Standardization EMI ¡INFSO-­‑RI-­‑261611 ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 13 ¡

The EMI SE bundle Access gsi NFS 4.1 WebDav Namespace Monitoring Data API Accounting FTP http(s) Posix Name Space SRM API Control Storage DPM Control Other GPFS Storage Layer EMI ¡INFSO-­‑RI-­‑261611 ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ Custodial Layer Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 14 ¡

Standardization : WebDav gsi WebDav Namespace Monitoring SRM NFS 4.1 FTP API http(s) API • Very ¡useful ¡for ¡new ¡(non-­‑LHC) ¡communiAes. ¡ • Already ¡available ¡in ¡dCache. ¡ • Will ¡be ¡added ¡to ¡StoRM ¡and ¡DPM ¡a_er ¡EMI-­‑1. ¡ • Allows ¡“File ¡system ¡like” ¡access ¡with ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ • Mac ¡OS ¡ • Linux ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ • Windows ¡ Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 15 ¡

Standardization : NFS 4.1 (pNFS) gsi WebDav Namespace Monitoring SRM NFS 4.1 FTP API http(s) API Native File System driver • NFS ¡4.1(pNFS) ¡: ¡industry ¡standard ¡(defined ¡by ¡IETF) ¡ • Genuine ¡POSIX ¡access ¡through ¡mounted ¡file ¡system. ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ • pNFS ¡supports ¡highly ¡distributed ¡data ¡sources. ¡ • Clients ¡provided ¡and ¡maintained ¡by ¡OS. ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ • Will ¡be ¡used ¡by ¡industry ¡heavyweights ¡: ¡IBM, ¡EMC, ¡Panasas… ¡ • ProducAon ¡dCache ¡1.9.10 ¡; ¡ ¡beta ¡in ¡DPM; ¡considered ¡for ¡StoRM ¡ Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 16 ¡

Standardization : NFS 4.1 (pNFS) 7360 46 . 1200 ¡ 1000 ¡ Total ¡Bandwidth ¡(MB/s) ¡ 800 ¡ NFS 4.1 EMI ¡INFSO-­‑RI-­‑261611 ¡ 600 ¡ 400 ¡ dCap EMI ¡INFSO-­‑RI-­‑261611 ¡ 200 ¡ 0 ¡ 0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ 120 ¡ 140 ¡ Number ¡of ¡threads ¡ Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 17 ¡

Standardization : SRM, specification gsi WebDav Namespace Monitoring SRM NFS 4.1 FTP API http(s) API EMI ¡INFSO-­‑RI-­‑261611 ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 18 ¡

Standardization : SRM, security gsi WebDav Namespace Monitoring SRM NFS 4.1 FTP API http(s) API Right ¡now ¡: ¡GLOBUS ¡: ¡library ¡and ¡protocol ¡(non ¡standard) ¡ • Goal ¡: ¡replacing ¡GSI ¡by ¡SSL/TLS-­‑X509 ¡ • Step ¡I ¡: ¡ • – No ¡delegaAon ¡(srmcp) ¡ – GLOBUS ¡library ¡in ¡SSL ¡compaAbility ¡mode. ¡ – Prove ¡of ¡concept ¡done ¡: ¡dCache ¡SRM ¡server ¡and ¡client. ¡ Step ¡II ¡ • – No ¡delegaAon. ¡ – Server ¡and ¡client ¡can ¡use ¡standard ¡java/openssl ¡libraries. ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ Step ¡III ¡ • – Agreement ¡on ¡delegaAon ¡service ¡: ¡done ¡GDS ¡ – Agreements ¡in ¡progress ¡  ¡ EMI ¡INFSO-­‑RI-­‑261611 ¡ Who ¡tells ¡to ¡create ¡delegated ¡proxy ¡: ¡client ¡or ¡server ¡ • How ¡does ¡the ¡server ¡tell ¡the ¡client ¡w/o ¡changing ¡the ¡WSDL ¡ • Where ¡do ¡we ¡store ¡the ¡delegaAon ¡ID ¡(w/o ¡WSDL ¡change) ¡ • How ¡close ¡should ¡the ¡delegaAon ¡service ¡be ¡to ¡the ¡SRM ¡service ¡ • Oct ¡19, ¡2010 ¡ ¡ EMI ¡Data, ¡the ¡IntroducAon. ¡CHEP’10, ¡Taipei, ¡TW ¡ 19 ¡