DUNE FD/35-ton Offline News and Announcements Tom Junk, - PowerPoint PPT Presentation

DUNE ¡FD/35-­‑ton ¡Offline ¡News ¡and ¡Announcements ¡ Tom ¡Junk, ¡Tingjun ¡Yang, ¡Michelle ¡Stancari, ¡Mark ¡Convery ¡ Fermilab, ¡SLAC ¡ DUNE ¡MigraMon ¡from ¡LBNE ¡ DAQ ¡offline ¡interface ¡ 7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 1 ¡

The ¡Great ¡Renaming ¡– ¡LBNE ¡ à ¡DUNE ¡ MeeMng ¡yesterday, ¡July ¡29, ¡organized ¡by ¡Qizhong, ¡with ¡SCD ¡reps ¡from ¡ many ¡areas ¡– ¡storage, ¡grid, ¡accounts, ¡server ¡and ¡desktop ¡support. ¡ ¡ Finally ¡geZng ¡around ¡to ¡this! ¡ ¡The ¡status ¡and ¡plans ¡for ¡each ¡of ¡the ¡areas ¡ ¡ Overall ¡idea: ¡ ¡We ¡want ¡to ¡keep ¡support ¡for ¡LBNE-­‑named ¡resources ¡during ¡the ¡ transiMon ¡so ¡that ¡work ¡can ¡conMnue ¡while ¡the ¡transiMon ¡happens, ¡and ¡to ¡give ¡users ¡ Mme ¡to ¡update ¡their ¡scripts. ¡ ¡ So... ¡Many ¡services ¡and ¡items ¡named ¡LBNE ¡will ¡either ¡have ¡two ¡names ¡during ¡ a ¡transiMon ¡period, ¡or ¡have ¡new ¡instances ¡which ¡will ¡co-­‑exist. ¡ ¡ A_er ¡the ¡transiMon ¡period, ¡LBNE-­‑named ¡things ¡will ¡no ¡longer ¡be ¡supported. ¡ ¡ DAQ-­‑related ¡LBNE-­‑named ¡things ¡(account ¡lbnedaq, ¡machine ¡lbne35t-­‑gateway01, ¡etc.) ¡ can ¡retain ¡their ¡LBNE ¡names ¡so ¡as ¡not ¡to ¡disrupt ¡DAQ ¡tesMng. ¡ 7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 2 ¡

New ¡DUNE ¡group ¡ID: ¡ ¡9010. ¡ ¡The ¡LBNE ¡Group ¡ID ¡is ¡9960. ¡ ¡These ¡affect ¡ file ¡ownership. ¡ ¡ ¡ BlueArc ¡mount ¡points ¡users ¡currently ¡see: ¡ /lbne/app ¡ /lbne/data ¡ /lbnd/data2 ¡ ¡ Plans ¡– ¡ ¡ ¡no ¡new ¡BlueArc ¡space, ¡so ¡ ¡ add ¡new ¡mount ¡points ¡for ¡the ¡same ¡file ¡systems ¡ /dune/app ¡ /dune/data ¡ /dune/data2 ¡ ¡ InteracMve ¡users ¡will ¡be ¡in ¡both ¡groups, ¡but ¡files ¡can ¡be ¡in ¡only ¡one ¡group. ¡ These ¡directories ¡will ¡be ¡group ¡read-­‑writable ¡ ¡ We ¡may ¡have ¡to ¡get ¡in ¡the ¡habit ¡of ¡turning ¡on ¡the ¡group ¡rw ¡bits ¡on ¡our ¡files ¡ so ¡that ¡old ¡lbne-­‑only ¡files ¡can ¡sMll ¡be ¡wrihen/deleted ¡ ¡ chmod ¡g+rw ¡<filename> ¡ ¡ 7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 3 ¡

BlueArc ¡Renaming ¡Mmescales ¡ Plan ¡is ¡to ¡have ¡an ¡overlap ¡period ¡when ¡both ¡/lbne/* ¡and ¡/dune/* ¡mount ¡points ¡ work. ¡ ¡ Two ¡months ¡– ¡reMre ¡LBNE ¡names ¡by ¡end ¡September ¡2015 ¡when ¡the ¡/lbne ¡versions ¡ can ¡be ¡reMred. ¡ ¡Allows ¡people ¡Mme ¡to ¡change ¡their ¡scripts ¡and ¡workflows. ¡ ¡But ¡SCD ¡ people ¡have ¡to ¡get ¡started ¡soon ¡adding ¡users ¡to ¡the ¡DUNE ¡group ¡now ¡so ¡to ¡give ¡ people ¡the ¡two ¡months ¡to ¡migrate ¡their ¡jobs ¡and ¡scripts. ¡ ¡ SMll ¡before ¡the ¡35t ¡operaMons ¡but ¡not ¡by ¡much ¡(1 ¡month). ¡ ¡ The ¡sooner ¡the ¡beher! ¡ ¡The ¡more ¡we ¡delay ¡this, ¡the ¡harder ¡it ¡will ¡become, ¡as ¡more ¡ users ¡will ¡become ¡entrenched ¡with ¡the ¡current ¡system. ¡ ¡ BlueArc ¡Mounts ¡may ¡ /grid/fermiapp/dune* ¡ require ¡downMme ¡ /grid/fermiapp/products/dune/* ¡ -­‑-­‑ ¡need ¡to ¡be ¡installed ¡ ¡ on ¡interacMve ¡nodes ¡ can ¡be ¡made ¡any ¡Mme ¡to ¡replace ¡ ¡ and ¡batch ¡workers ¡ /grid/fermiapp/lbne/* ¡ (at ¡least ¡/dune/aopp) ¡ /grid/fermiapp/products/lbne/* ¡ 7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 4 ¡

dCache ¡disk ¡ ¡ /pnfs/lbne/* ¡ à ¡/pnfs/dune/* ¡ ¡similar ¡issues. ¡ ¡ We ¡already ¡have ¡/pnfs/dune/persistent ¡that ¡people ¡in ¡the ¡LBNE ¡but ¡not ¡the ¡ DUNE ¡group ¡can ¡not ¡write ¡to. ¡ ¡The ¡scratch ¡area ¡and ¡other ¡areas ¡also ¡need ¡ dune ¡versions. ¡ ¡Currently ¡/pnfs/dune ¡only ¡has ¡a ¡persistent ¡area. ¡ ¡ /pnfs/dune/persistent ¡shares ¡the ¡150 ¡TB ¡disk ¡space ¡with ¡/pnfs/lbne/persistent ¡ but ¡the ¡namespaces ¡are ¡disMnct. ¡ ¡ To ¡see ¡what ¡groups ¡you’re ¡in ¡use ¡the ¡command ¡“id” ¡ ¡ SCD ¡will ¡add ¡current ¡interacMve ¡users ¡to ¡the ¡dune ¡group ¡and ¡make ¡/pnfs/dune ¡areas. ¡ ¡ Similar ¡Mmescale ¡as ¡for ¡BlueArc ¡– ¡eventually ¡lbne ¡will ¡be ¡reMred ¡as ¡a ¡mount ¡point ¡name. ¡ ¡ SAM ¡ ¡ Need ¡support ¡for ¡DUNE ¡in ¡SAM ¡– ¡a ¡SAM ¡staMon, ¡and ¡many ¡samweb ¡commands ¡need ¡ the ¡experiment ¡supplied ¡with ¡–e ¡<experimentname> ¡ 7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 5 ¡

The ¡DUNE ¡Virtual ¡OrganizaMon ¡(VO) ¡ A ¡DUNE ¡VO ¡has ¡been ¡created. ¡ ¡Steve ¡Timm ¡and ¡Tom ¡Junk ¡are ¡the ¡admins, ¡ and ¡Steve ¡is ¡the ¡security ¡contact. ¡ ¡Used ¡for ¡authenMcaMng ¡batch ¡jobs. ¡ ¡ It’s ¡not ¡completely ¡funcMonal ¡though ¡– ¡need ¡to ¡get ¡it ¡accepted ¡on ¡the ¡OSG ¡ and ¡make ¡the ¡GUMS ¡mapping ¡work ¡(this ¡may ¡be ¡done ¡already) ¡ ¡ QuesMon ¡of ¡automaMc ¡membership ¡ • people ¡already ¡in ¡the ¡LBNE ¡VO ¡ ¡ ¡(~ ¡approx ¡100 ¡of ¡these) ¡ • people ¡with ¡interacMve ¡LBNE ¡accounts ¡(~336 ¡of ¡these) ¡ Onboarding ¡future ¡new ¡DUNE ¡users: ¡ LBNE ¡used ¡to ¡have ¡a ¡complicated ¡signup ¡procedure ¡ 1) Apply ¡for ¡Fermilab ¡ID ¡number, ¡Kerberos ¡principal, ¡Services ¡account ¡ 2) Apply ¡for ¡FNALU ¡account ¡ 3) Apply ¡for ¡interacMve ¡LBNE ¡account ¡ 4) Apply ¡for ¡VO ¡membership ¡ For ¡DUNE, ¡we’d ¡like ¡these ¡all ¡to ¡be ¡rolled ¡into ¡one ¡applicaMon. ¡ ¡LBNE ¡had ¡ engineers, ¡lawyers, ¡and ¡others ¡who ¡did ¡not ¡need ¡scienMfic ¡compuMng ¡resources ¡ All ¡the ¡non-­‑scienMfic ¡people ¡are ¡in ¡LBNF ¡now, ¡and ¡DUNE ¡consists ¡of ¡a ¡science ¡collaboraMon ¡ so ¡we ¡should ¡give ¡new ¡DUNE ¡people ¡all ¡the ¡accounts ¡at ¡once. ¡ 7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 6 ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 7 ¡

Batch ¡jobs ¡and ¡the ¡VO ¡ Annual ¡Acceptable ¡Use ¡Policy ¡signing ¡ • currently ¡requires ¡KCA ¡cerMficate ¡and ¡a ¡web ¡form ¡ • difficult ¡for ¡some ¡users ¡ • Other ¡experiments ¡do ¡not ¡do ¡this. ¡ ¡LBNE ¡was ¡special ¡because ¡its ¡VO ¡was ¡ ¡ ¡ ¡separate ¡from ¡the ¡Fermilab ¡VO ¡and ¡was ¡expected ¡to ¡have ¡non-­‑Fermilab ¡people ¡ ¡ ¡ ¡in ¡it. ¡ • Other ¡Fermilab-­‑hosted ¡experiments ¡required ¡users ¡to ¡have ¡Fermilab ¡ID ¡numbers ¡ ¡and ¡renew ¡their ¡compuMng ¡privileges ¡annually. ¡ ¡This ¡requires ¡reading ¡and ¡signing ¡ the ¡Fermilab ¡CompuMng ¡Policy, ¡which ¡stands ¡in ¡for ¡the ¡AUP ¡on ¡the ¡VO ¡ ¡ We ¡can ¡do ¡this ¡too! ¡ ¡It ¡just ¡means ¡we ¡need ¡to ¡require ¡obtaining ¡and ¡maintaining ¡ Fermilab ¡computer ¡privileges ¡in ¡order ¡to ¡be ¡a ¡VO ¡member. ¡ ¡Other ¡experiments ¡do ¡this. ¡ E.g. ¡CMS ¡users ¡need ¡CERN ¡accounts ¡in ¡order ¡to ¡do ¡CMS ¡compuMng. ¡ ¡ jobsub_client ¡needed ¡to ¡add ¡DUNE ¡to ¡its ¡list ¡of ¡supported ¡experiments ¡– ¡done. ¡ ¡ condor ¡queues ¡(DUNE’s ¡Fermigrid ¡allocaMon) ¡to ¡be ¡set ¡up ¡(done?) ¡ ¡ FIFEMON ¡needs ¡a ¡DUNE ¡category ¡– ¡done, ¡though ¡I ¡haven’t ¡seen ¡it ¡yet. ¡ 7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 8 ¡