Data ¡Observa+on ¡Network ¡for ¡Earth ¡ Hands ¡On ¡ IDCC ¡ February, ¡2014 ¡ 1 ¡
DataONE ¡Infrastructure ¡ From Reichman, Jones, and Schildhauer; doi:10.1126/science.1197962 2 ¡
Inves4gator ¡Toolkit ¡ 3 ¡
Suppor4ng ¡the ¡Full ¡Data ¡Life ¡Cycle ¡ Plan ¡ Analyze ¡ Collect ¡ Integrate ¡ Assure ¡ Discover ¡ Describe ¡ Preserve ¡ 4 ¡
Suppor4ng ¡the ¡Full ¡Data ¡Life ¡Cycle ¡ Plan ¡ Analyze ¡ Collect ¡ Integrate ¡ Assure ¡ Discover ¡ Describe ¡ Preserve ¡ 5 ¡
Enable Data Discovery FGDC, ¡ISO, ¡ ORNL ¡DAAC ¡ DIF, ¡FGDC ¡ FGDC, ¡ISO, ¡ USGS ¡CSAS ¡ FGDC ¡ Internal ¡ Extract ¡and ¡Align ¡Metadata ¡ EML, ¡ISO ¡ KNB ¡ Metadata ¡ Augment ¡Metadata ¡ EML ¡ PISCO ¡ Index ¡ EML, ¡FGDC ¡ SANParks ¡ EML ¡ ESA ¡ EML ¡ ONEShare ¡ Search ¡ EML ¡ UC ¡MerriP ¡ API ¡ EML ¡ CLO/AKN ¡ EML ¡ LTER ¡
Discover • Data discovery portal • Search and retrieval of content indexed by DataONE • Collates metadata across all Member Nodes • Operates on each Coordinating Node 7 ¡
ONEMercury ¡-‑ ¡Demo ¡ 8 ¡
Suppor4ng ¡the ¡Full ¡Data ¡Life ¡Cycle ¡ Plan ¡ Analyze ¡ Collect ¡ Integrate ¡ Assure ¡ Discover ¡ Describe ¡ Preserve ¡ 9 ¡
• Online ¡cita4on ¡manager ¡support ¡ • e.g. ¡Zotero, ¡Mendeley ¡ Cite ¡ 10 ¡
Tools ¡Across ¡the ¡Data ¡Life ¡Cycle ¡ Plan ¡ Analyze ¡ Collect ¡ Integrate ¡ Assure ¡ Discover ¡ Describe ¡ Preserve ¡ 11 ¡
Programma4c ¡Search ¡ hPps://cn.dataone.org/cn/v1/query/solr/q=abstract:water ¡ Query ¡Engine ¡ Query ¡ CN ¡REST ¡endpoint ¡ Method ¡ • Result ¡is ¡a ¡list ¡of ¡iden4fiers ¡(and ¡more) ¡ • Use ¡resolve() ¡to ¡determine ¡loca4ons ¡ • Use ¡get() ¡to ¡retrieve ¡bytes ¡ 12 ¡
GET4ng ¡data: ¡the ¡main ¡target ¡ Where ¡can ¡I ¡get ¡ doi:10.5063/AA/mbauer.75.1 ? ¡ ¡ hPps://cn.dataone.org/cn/v1/resolve/doi%3A10.5063%2FAA%2Fmbauer.75.1 ¡ resolve ¡ <?xml ¡version="1.0" ¡encoding="UTF-‑8"?> ¡ CN ¡Resolve ¡ <d1:objectLoca4onList ¡xmlns:d1="hPp://ns.dataone.org/service/types/v1"> ¡ method ¡call ¡ ¡ ¡<iden4fier>doi:10.5063/AA/mbauer.75.1</iden4fier> ¡ ¡ ¡ ¡ ¡<objectLoca4on> ¡ ¡ ¡ ¡ ¡<nodeIden4fier>urn:node:KNB</nodeIden4fier> ¡ ¡ ¡ ¡ ¡<baseURL>hPps://knb.ecoinforma4cs.org/knb/d1/mn</baseURL> ¡ ¡ ¡ ¡ ¡<version>v1</version> ¡ ¡ ¡ ¡ ¡<url> ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡</url> ¡ hPps://knb.ecoinforma4cs.org/knb/d1/mn/v1/object/doi:10.5063%2FAA%2Fmbauer.75.1 ¡ ¡ ¡</objectLoca4on> ¡ </d1:objectLoca4onList> ¡ MN ¡Get ¡call ¡to ¡ retrieve ¡data ¡ A ¡DataONE ¡GET ¡(digital ¡object) ¡call ¡ hPps://knb.ecoinforma4cs.org/knb/d1/mn/v1/object/doi:10.5063%2FAA%2Fmbauer.75.1 ¡ MN ¡REST ¡Endpoint ¡ Object ¡Iden4fier ¡ Method ¡ 13 ¡
Data ¡– ¡Resolve? ¡ Repository ¡1 ¡ A ¡ Resolver ¡ Synchronize ¡ P ¡ Abc ¡ API ¡ I ¡ Abc? ¡ Resolve(Abc) ¡ Synchronize ¡ Repository ¡2 ¡ $ ¡_ ¡ A ¡ Client ¡ P ¡ Bbc ¡ I ¡
Resolving ¡Iden4fiers ¡ Inves+gator ¡Toolkit ¡ Data ¡Discovery ¡ Analysis, ¡Visualiza4on ¡ Data ¡Management ¡ Java ¡Library ¡ Python ¡Library ¡ CLI ¡Tools ¡ REST ¡URLs ¡ Where ¡can ¡I ¡get ¡ doi:10.5063/AA/mbauer.75.1 ? ¡ ¡ hPps://cn.dataone.org/cn/v1/resolve/doi%3A10.5063%2FAA%2Fmbauer.75.1 ¡ resolve ¡ <?xml ¡version="1.0" ¡encoding="UTF-‑8"?> ¡ CN ¡Resolve ¡ <d1:objectLoca4onList ¡xmlns:d1="hPp://ns.dataone.org/service/types/v1"> ¡ method ¡call ¡ ¡ ¡<iden4fier>doi:10.5063/AA/mbauer.75.1</iden4fier> ¡ ¡ ¡ ¡ ¡<objectLoca4on> ¡ ¡ ¡ ¡ ¡<nodeIden4fier>urn:node:KNB</nodeIden4fier> ¡ ¡ ¡ ¡ ¡<baseURL>hPps://knb.ecoinforma4cs.org/knb/d1/mn</baseURL> ¡ ¡ ¡ ¡ ¡<version>v1</version> ¡ ¡ ¡ ¡ ¡<url> ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡</url> ¡ hPps://knb.ecoinforma4cs.org/knb/d1/mn/v1/object/doi:10.5063%2FAA%2Fmbauer.75.1 ¡ ¡ ¡</objectLoca4on> ¡ </d1:objectLoca4onList> ¡ MN ¡Get ¡call ¡to ¡ retrieve ¡data ¡ 15 ¡
Tools ¡Across ¡the ¡Data ¡Life ¡Cycle ¡ Plan ¡ Analyze ¡ Collect ¡ Integrate ¡ Assure ¡ Discover ¡ Describe ¡ Preserve ¡ 16 ¡
DataONE ¡R ¡Client ¡ • Goals ¡ • Reproducible ¡science ¡ • Citable ¡analysis ¡ • Published ¡results ¡ • Data ¡access ¡integrated ¡directly ¡in ¡R ¡ • Access ¡via ¡global ¡iden4fiers ¡ • Enables ¡R ¡Script ¡portability ¡and ¡preserva4on ¡ • Data ¡submission ¡with ¡system ¡metadata ¡genera4on ¡ • Versioning ¡of ¡objects ¡as ¡submiPed ¡ 17 ¡
R ¡Expecta4ons ¡ • R ¡is ¡command ¡driven ¡ • It’s ¡not ¡for ¡everybody ¡ • But ¡it ¡is ¡heavily ¡used ¡by ¡our ¡target ¡user ¡groups ¡ • Many ¡people ¡work ¡from ¡scripts ¡with ¡R ¡ 18 ¡
Using ¡the ¡DataONE ¡R ¡Client ¡ Ini4alize ¡client ¡object ¡ d1 <- D1Client(env, mn_nodeid) ¡ Resolve, ¡download, ¡and ¡convert ¡data ¡ d1Object <- getD1Object (d1, "erd.362.1”) ¡ databytes <- getData (d1Object) dataPackage <- getPackage (d1, packageId) data <- asDataFrame(dataPackage,1) Store ¡data ¡on ¡Member ¡Node ¡ d1Object <- new(Class="D1Object", dataId, csvdata, format, mn_nodeid) ¡ setPublicAccess (d1Object) createD1Object (d1, d1Object) 19 ¡
20 ¡
Recommend
More recommend
