Provenance Exchange, Integration and Querying Marta Ma&oso - PowerPoint PPT Presentation

Provenance Exchange, Integration and Querying ¡ Marta ¡Ma&oso ¡ ¡ ¡ ¡ ¡ Federal ¡University ¡of ¡Rio ¡de ¡Janeiro, ¡Brazil ¡ ¡

Provenance ¡ ¡ Exchange, ¡Integra1on ¡and ¡Querying ¡ Contributors: ¡ • M. ¡David ¡Allen, ¡Adriane ¡Chapman, ¡Barbara ¡Blaustein, ¡Len ¡ Seligman ¡ ¡ [5 ¡GeHng ¡It ¡Together: ¡Enabling ¡Mul1-­‑organiza1on ¡ Provenance ¡Exchange] ¡ • Anderson ¡Marinho, ¡Marta ¡MaMoso, ¡Claudia ¡Werner, ¡Vanessa ¡ Braganholo ¡and ¡Leonardo ¡Murta ¡ ¡ [33 ¡Challenges ¡in ¡managing ¡implicit ¡and ¡abstract ¡provenance ¡ data: ¡experiences ¡with ¡ProvManager] ¡ • Luiz ¡M. ¡R. ¡Gadelha ¡Jr., ¡Marta ¡MaMoso, ¡Michael ¡Wilde, ¡Ian ¡ Foster ¡ ¡ [26 ¡Provenance ¡Query ¡PaMerns ¡for ¡Many-­‑Task ¡Scien1fic ¡ Compu1ng] ¡ MaMoso ¡ ¡-­‑ ¡TaPP ¡2011 ¡-­‑ ¡ ¡ ¡2 ¡

Importance ¡of ¡provenance ¡in ¡ ¡Science ¡ • Interpret ¡and ¡reproduce ¡data ¡ • Understand ¡the ¡experiment ¡and ¡chain ¡of ¡reasoning ¡ that ¡was ¡used ¡in ¡the ¡produc1on ¡of ¡a ¡result ¡ • Verify ¡ that ¡ an ¡ experiment ¡ was ¡ performed ¡ according ¡to ¡acceptable ¡procedures ¡ • Iden1fy ¡what ¡were ¡the ¡inputs ¡to ¡an ¡experiment ¡and ¡ where ¡they ¡came ¡from ¡ • Assess ¡data ¡quality ¡ • Track ¡ who ¡ performed ¡ an ¡ experiment ¡ and ¡ who ¡ is ¡ responsible ¡for ¡its ¡results ¡(patents) ¡ Provenance is as (or more!) important as the results (Davidson, ¡Freire, ¡Provenance ¡and ¡Workflows-­‑ ¡SIGMOD ¡2008) ¡ MaMoso ¡ ¡-­‑ ¡TaPP ¡2011 ¡-­‑ ¡ ¡ -­‑ ¡3 ¡

Provenance ¡along ¡Wf ¡levels ¡ MaMoso ¡ ¡-­‑ ¡TaPP ¡2011 ¡-­‑ ¡ ¡ 4 ¡

Provenance ¡can ¡support ¡analyzing ¡ scien1fic ¡experiments ¡ • Before ¡execu1on: ¡ o What ¡programs ¡may ¡be ¡used? ¡Is ¡there ¡any ¡alterna1ve ¡ methodology ¡to ¡explore? ¡ ¡ o Is ¡there ¡any ¡dependency ¡between ¡ac1vi1es? ¡Which ¡ac1vi1es ¡are ¡ mandatory? ¡ • Aeer ¡execu1on: ¡ o What ¡were ¡the ¡parameters ¡used ¡in ¡the ¡cri1cal ¡result ¡? ¡ o What ¡were ¡the ¡scien1fic ¡workflow ¡ac1vi1es ¡used ¡to ¡obtain ¡such ¡ result? ¡ o Where ¡are ¡the ¡output ¡files ¡generated ¡by ¡the ¡distributed ¡ac1vity ¡A ¡ using ¡the ¡parameters ¡P? ¡ o How ¡many ¡1mes ¡the ¡ac1vity ¡A ¡in ¡version ¡V ¡was ¡used ¡in ¡the ¡ experiment ¡E? ¡ ¡ MaMoso ¡ ¡-­‑ ¡TaPP ¡2011 ¡-­‑ ¡ ¡ ¡5 ¡

Experiment ¡Life ¡Cycle * ¡ Composition Concep1on ¡ Reuse ¡ Exchange, ¡ Integrate, ¡ Querying ¡ Provenance ¡ Data ¡ Query ¡ Distribu1on ¡ Discovery ¡ Analysis Execution Monitoring ¡ Visualiza1on ¡ *MaMoso ¡et ¡al, ¡2010 ¡-­‑ ¡Towards ¡Suppor1ng ¡the ¡Life ¡Cycle ¡of ¡Large ¡Scale ¡Scien1fic ¡Experiments. ¡IJBPIM ¡ MaMoso ¡ ¡-­‑ ¡TaPP ¡2011 ¡-­‑ ¡ ¡ 6 ¡

Experiment ¡Life ¡Cycle ¡&TaPP ¡Sessions ¡ ¡ Provenance ¡ Composition Models ¡ Concep1on ¡ Reuse ¡ Exchange, ¡ Integrate, ¡ Querying ¡ Provenance ¡ Data ¡ Query ¡ Distribu1on ¡ Discovery ¡ Analysis Execution Monitoring ¡ Visualiza1on ¡ Provenance ¡ Provenance ¡ in ¡the ¡Wild ¡ Analysis ¡ MaMoso ¡ ¡-­‑ ¡TaPP ¡2011 ¡-­‑ ¡ ¡ 7 ¡

Experiment ¡Life ¡Cycle ¡&TaPP ¡Papers ¡ Provenance ¡ Composition Models ¡ Concep1on ¡ Reuse ¡ Paolo ¡Missier ¡[2 ¡Incremental ¡Workflow ¡Improvement ¡ • Through ¡Analysis ¡of ¡Its ¡Data ¡Provenance] ¡ Mar1n ¡Doerr ¡and ¡Maria ¡Theodoridou, ¡FORTH-­‑ICS, ¡Crete, ¡ • Exchange, ¡ Greece ¡[3 ¡CRMdig: ¡A ¡Generic ¡Digital ¡Provenance ¡Model ¡ Integrate, ¡ for ¡Scien1fic ¡Observa1on] ¡ Querying ¡ Provenance ¡ Provenance ¡ Data ¡ in ¡the ¡Wild ¡ Query ¡ Distribu1on ¡ Discovery ¡ Analysis Execution Monitoring ¡ Visualiza1on ¡ Provenance ¡ Imad ¡M. ¡Abbadi ¡and ¡John ¡Lyle ¡[6 ¡Provenance ¡Challenges ¡ • Analysis ¡ in ¡Cloud ¡Compu1ng] ¡ Peter ¡Macko, ¡Marc ¡Chiarini, ¡and ¡Margo ¡Seltzer ¡[18 ¡ • Reng ¡Zeng, ¡Xudong ¡He, ¡Jiafei ¡Li, ¡Zheng ¡Liu, ¡W.M.P. ¡van ¡ • Collec1ng ¡Provenance ¡via ¡the ¡Xen ¡Hypervisor] ¡ der ¡Aalst ¡[1 ¡A ¡Method ¡to ¡Build ¡and ¡Analyze ¡Scien1fic ¡ Elaine ¡Angelino, ¡Uri ¡Braun, ¡David ¡A. ¡Holland, ¡Peter ¡ • Workflows ¡from ¡Provenance ¡through ¡Process ¡Mining] ¡ Macko, ¡Daniel ¡Margo, ¡and ¡Margo ¡Seltzer ¡[23 ¡Provenance ¡ MaMoso ¡ ¡-­‑ ¡TaPP ¡2011 ¡-­‑ ¡ ¡ 8 ¡ Integra1on ¡Requires ¡Reconcilia1on] ¡

Risers’ ¡fa1gue ¡analysis ¡in ¡oil ¡eleva1on ¡ ¡from ¡ultra-­‑deep ¡waters ¡ following ¡a ¡coupled ¡analysis ¡ 1. ¡ Coupled ¡movement ¡Analysis ¡ ¡ (TPN ¡or ¡Prosim) ¡ Input ¡Data ¡to ¡simulate ¡ Movements: ¡ Waves, ¡wind, ¡currents, ¡ ba1metryDados ¡de ¡onda ¡ ¡vento, ¡ ¡correnteza, ¡ ¡bathymetry, ¡ ¡etc. ¡: ¡ ¡ ¡ ¡ ¡ Es1mate ¡risers ¡ ¡ Generates ¡large ¡quan1ty ¡of ¡ life1me ¡ Data ¡... ¡ (finite ¡element ¡meshes ¡) ¡ 3. ¡ Results ¡are ¡analyzed ¡ ¡POSFAL ¡ 2. ¡... ¡To ¡do ¡ ¡structural ¡Analysis ¡ ofRisers ¡(ANFLEX) ¡ ¡ ¡9 ¡ MaMoso ¡ ¡-­‑ ¡TaPP ¡2011 ¡-­‑ ¡ ¡

Distributed ¡Provenance ¡ ¡ Análise ¡acoplada ¡dos ¡ ¡ Analysis ¡of ¡Movements ¡ movimentos ¡da ¡ of ¡Plaqorm ¡ Scien:fic ¡experiment ¡ plataforma ¡ Movements ¡Filtering ¡ Analise ¡estrutural ¡ Analysis ¡of ¡Risers’ ¡ de ¡risers ¡ Structure ¡ Publish ¡ Analysis ¡of ¡Fa1gue ¡ Experiment ¡and ¡ ¡ Wf ¡1 ¡ Workflow ¡ Provenance ¡Systems ¡ Wf ¡2 ¡ Sub-­‑workflow ¡parallel ¡execu1on ¡ ¡ Offline ¡analysis ¡(vis ¡cave) ¡ in ¡HPC ¡clusters, ¡clouds ¡ Visualize ¡and ¡Share ¡ provenance ¡data ¡ with ¡others ¡scien1sts ¡ Wf ¡3 ¡ 10 ¡ MaMoso ¡ ¡-­‑ ¡TaPP ¡2011 ¡-­‑ ¡ ¡

Some ¡aspects ¡of ¡Composi1on ¡ Composition <<Automated>> EdgeCFD Preprocessor file ¡ file ¡ file File file ¡ nn.part.in nn.part.msh part.mat part.ic part.edg <<Sub-­‑Workflow, ¡Sweep>> EdgeCFD Solver ¡and ¡Control ¡Applications Visualization ¡ Visualization ¡ Visualization ¡ Visualization ¡ Visualization Visualization file ¡ file ¡ file ¡ file ¡ file .case file nn.geo velo_nnnn.vecnn press_0000_sdnn scal_nnnn_sdnn DD_nnnn_sdnn <<Semi-­‑Automated>> Visualization Concep1on ¡ Derivation Reuse ¡ Provenance ¡ Data ¡ Query ¡ Execution Distribu1on ¡ Discovery ¡ Analysis Monitoring ¡ Visualiza1on ¡ ¡11 ¡ MaMoso ¡ ¡-­‑ ¡TaPP ¡2011 ¡-­‑ ¡ ¡

Pillars ¡of ¡composi1on ¡ Provenance ¡is ¡ orthogonal ¡to ¡ Composi1on ¡ those ¡pillars ¡and ¡it ¡ is ¡generated ¡in ¡ each ¡one ¡of ¡them ¡ Configura1on ¡ ¡ Management ¡ Concep1on ¡ Reuse ¡ The ¡composi1on ¡should ¡ be ¡supported ¡in ¡ scien1fic ¡experiments ¡ Provenance ¡ MaMoso ¡ ¡-­‑ ¡TaPP ¡2011 ¡-­‑ ¡ ¡ 12 ¡

Concrete ¡Workflows ¡for ¡ ¡ Ultra ¡Deep ¡Water ¡Oil ¡Explora1on ¡ Prosim ¡ TPN ¡ Posinal ¡ Ocarflex ¡ Anflex ¡ Posfal ¡ Posfal ¡ MaMoso ¡ ¡-­‑ ¡TaPP ¡2011 ¡-­‑ ¡ ¡ 13 ¡ Workflow ¡ ¡#1 ¡ Workflow ¡ ¡#2 ¡

Conceptual ¡Workflows ¡and ¡ ¡ Concrete ¡Workflows ¡Limita1ons ¡ Analysis ¡of ¡Movements ¡ of ¡Plaqorm ¡ Movements ¡Filtering ¡ Prosim ¡ Analysis ¡of ¡Risers’ ¡ Structure ¡ Analysis ¡of ¡Fa1gue ¡ Ocarflex ¡ Posfal ¡ 14 ¡ MaMoso ¡ ¡-­‑ ¡TaPP ¡2011 ¡-­‑ ¡ ¡