Scalable heterogeneous stores for Digital City data - PowerPoint PPT Presentation

Scalable ¡heterogeneous ¡stores ¡for ¡ Digital ¡City ¡data ¡management ¡ applica8ons ¡ ¡ Francesca ¡Bugio. § , ¡Damian ¡Bursztyn § , ¡ ¡ Alin ¡Deutsch ¶ , ¡ Ioana ¡Ileana § , ¡Ioana ¡Manolescu § ¡ ¡ § ¡ OAK ¡team, ¡INRIA, ¡France ¡ ¶ ¡ DB ¡group, ¡UC. ¡California ¡San ¡Diego ¡ ¡ ¡ Ioana ¡Manolescu ¡/ ¡Ecole ¡RESCOM ¡2015 ¡

Data ¡management ¡case ¡study: ¡ ¡ smart ¡city ¡data ¡integraNon ¡ • Datalyse ¡French ¡R&D ¡project ¡ – Rela8onal ¡transport ¡database ¡ – RDF ¡Open ¡Data ¡produced ¡by ¡the ¡city ¡administraNon ¡ (cultural ¡artefacts, ¡events…) ¡ – Graph ¡social ¡network ¡data ¡harvested ¡from ¡various ¡ applicaNons ¡ – May ¡be ¡used ¡with ¡or ¡without ¡ log ¡data ¡from ¡city ¡Web ¡ site ¡and ¡various ¡apps ¡ • Mid-­‑size ¡IT ¡companies ¡clueless ¡on ¡what ¡to ¡use ¡ • Easy ¡to ¡be ¡wrong ¡by ¡orders ¡of ¡magnitude ¡ ¡ Ioana ¡Manolescu ¡/ ¡Ecole ¡RESCOM ¡2015 ¡

The ¡data ¡management ¡problem ¡ • Glut ¡of ¡ varied ¡data ¡management ¡systems ¡(DMS) ¡ ¡ – DM ¡includes ¡ ¡DBMS ¡ • Different ¡ data ¡models : ¡ ¡ NoSQL ¡DMSs ¡ – RelaNonal, ¡nested ¡relaNonal, ¡tree, ¡k-­‑v, ¡graphs, ¡… ¡ ¡ -­‑ Different ¡ data ¡access ¡capabili8es ¡ (from ¡simple ¡ API ¡to ¡various ¡query ¡languages) ¡ ¡ -­‑ Different ¡ architectures : ¡disk-­‑ ¡vs. ¡memory-­‑based, ¡ centralized ¡vs. ¡distributed ¡etc. ¡ Cloud ¡DMSs ¡ -­‑ Different ¡ performance ¡ ¡ ¡ -­‑ Different ¡levels ¡of ¡ transac8on ¡support ¡ ¡ Ioana ¡Manolescu ¡/ ¡Ecole ¡RESCOM ¡2015 ¡

The ¡data ¡management ¡problem ¡ • Glut ¡of ¡ varied ¡data ¡management ¡systems ¡(DMS) ¡ ¡ – DM ¡includes ¡ ¡DBMS ¡ • Different ¡ data ¡models : ¡ ¡ NoSQL ¡DMSs ¡ – RelaNonal, ¡nested ¡relaNonal, ¡tree, ¡k-­‑v, ¡graphs, ¡… ¡ ¡ How ¡do ¡we ¡get ¡ -­‑ Different ¡ data ¡access ¡capabili8es ¡ (from ¡simple ¡ performance ¡ ¡ API ¡to ¡various ¡query ¡languages) ¡ ¡ for ¡a ¡variety ¡of ¡datasets ¡ -­‑ Different ¡ architectures : ¡disk-­‑ ¡vs. ¡memory-­‑based, ¡ on ¡a ¡variety ¡of ¡DMSs ¡ ¡ ¡ centralized ¡vs. ¡distributed ¡etc. ¡ Cloud ¡DMSs ¡ -­‑ Different ¡ performance ¡ ¡ ¡ -­‑ Different ¡levels ¡of ¡ transac8on ¡support ¡ ¡ Ioana ¡Manolescu ¡/ ¡Ecole ¡RESCOM ¡2015 ¡

The ¡data ¡management ¡problem ¡ • Glut ¡of ¡ varied ¡data ¡management ¡systems ¡(DMS) ¡ ¡ – DM ¡includes ¡ ¡DBMS ¡ How ¡do ¡we ¡get ¡ • Different ¡ data ¡models : ¡ ¡ NoSQL ¡DMSs ¡ performance ¡ ¡ – RelaNonal, ¡nested ¡relaNonal, ¡tree, ¡k-­‑v, ¡graphs, ¡… ¡ ¡ for ¡a ¡variety ¡of ¡datasets ¡ Focus ¡not ¡on ¡ bea8ng ¡the ¡most ¡ -­‑ Different ¡ data ¡access ¡capabili8es ¡ (from ¡simple ¡ on ¡a ¡variety ¡of ¡DMSs ¡ ¡ ¡ specialized ¡op8miza8ons ¡ of ¡the ¡ API ¡to ¡various ¡query ¡languages) ¡ ¡ most ¡specialized ¡engine ¡for ¡a ¡ -­‑ Different ¡ architectures : ¡disk-­‑ ¡vs. ¡memory-­‑based, ¡ given ¡model /applicaNon. ¡ centralized ¡vs. ¡distributed ¡etc. ¡ Cloud ¡DMSs ¡ -­‑ Different ¡ performance ¡ ¡ ¡ -­‑ Different ¡levels ¡of ¡ transac8on ¡support ¡ ¡ Ioana ¡Manolescu ¡/ ¡Ecole ¡RESCOM ¡2015 ¡

The ¡data ¡management ¡problem ¡ • Glut ¡of ¡ varied ¡data ¡management ¡systems ¡(DMS) ¡ ¡ – DM ¡includes ¡ ¡DBMS ¡ How ¡do ¡we ¡get ¡ • Different ¡ data ¡models : ¡ ¡ NoSQL ¡DMSs ¡ performance ¡ ¡ – RelaNonal, ¡nested ¡relaNonal, ¡tree, ¡k-­‑v, ¡graphs, ¡… ¡ ¡ for ¡a ¡variety ¡of ¡datasets ¡ Focus ¡not ¡on ¡ bea8ng ¡the ¡most ¡ -­‑ Different ¡ data ¡access ¡capabili8es ¡ (from ¡simple ¡ on ¡a ¡variety ¡of ¡DMSs ¡ ¡ ¡ specialized ¡op8miza8ons ¡ of ¡the ¡ API ¡to ¡various ¡query ¡languages) ¡ ¡ most ¡specialized ¡engine ¡for ¡a ¡ -­‑ Different ¡ architectures : ¡disk-­‑ ¡vs. ¡memory-­‑based, ¡ Focus ¡on ¡ robust ¡performance ¡for ¡ given ¡model/applicaNon. ¡ centralized ¡vs. ¡distributed ¡etc. ¡ Cloud ¡DMSs ¡ varied ¡data ¡models ¡ across ¡a ¡ -­‑ Different ¡ performance ¡ ¡ ¡ changing ¡set ¡of ¡heterogeneous ¡ -­‑ Different ¡levels ¡of ¡ transac8on ¡support ¡ ¡ DMSs ¡ ¡ Ioana ¡Manolescu ¡/ ¡Ecole ¡RESCOM ¡2015 ¡

The ¡problem, ¡qualified ¡ • Glut ¡of ¡ varied ¡data ¡management ¡systems ¡(DMS) ¡ ¡ With ¡ With ¡ no ¡hassle ¡ – DM ¡includes ¡ ¡DBMS ¡ correctness ¡ for ¡the ¡ Automa8cally ¡ guarantees ¡ applica8on ¡ layer ¡ • Different ¡ data ¡models : ¡ ¡ NoSQL ¡DMSs ¡ – RelaNonal, ¡nested ¡relaNonal, ¡tree, ¡k-­‑v, ¡graphs, ¡… ¡ ¡ How ¡do ¡we ¡get ¡ -­‑ Different ¡ data ¡access ¡capabili8es ¡ (from ¡simple ¡ performance ¡ ¡ API ¡to ¡various ¡query ¡languages) ¡ ¡ for ¡a ¡variety ¡of ¡datasets ¡ -­‑ Different ¡ architectures : ¡disk-­‑ ¡vs. ¡memory-­‑based, ¡ Resilient ¡to ¡ on ¡a ¡variety ¡of ¡DMSs ¡ ¡ ¡ centralized ¡vs. ¡distributed ¡etc. ¡ changes ¡ Cloud ¡DMSs ¡ -­‑ Different ¡ performance ¡ ¡ ¡ -­‑ Different ¡levels ¡of ¡ transac8on ¡support ¡ ¡ Ioana ¡Manolescu ¡/ ¡Ecole ¡RESCOM ¡2015 ¡

A ¡piece ¡of ¡self-­‑derision: ¡The ¡Next ¡Data ¡Model ¡ That ¡Will ¡Save ¡The ¡World ¡ New ¡ApplicaNon: ¡ Previous ¡Data ¡Model ¡Can’t ¡Do ¡It! ¡ New ¡Data ¡Model: ¡ early ¡days ¡ ¡ For ¡Previous ¡Data ¡Model, ¡ ¡ First ¡Papers: ¡ This ¡Simple ¡Model ¡ Everything ¡Is ¡Undecidable! ¡ -­‑ First ¡formalism ¡ ¡ Needs ¡Extensions! ¡ (relaNvely ¡ ¡ ¡simple ¡and ¡clean) ¡ New ¡Data ¡Model: ¡ The ¡Baseline ¡ ¡ -­‑ First ¡query ¡language, ¡ ¡ golden ¡days ¡ ¡ Method ¡Needs ¡ ¡ toy ¡implementaNon ¡ Op8miza8ons ! ¡ Formerly ¡New ¡ ¡ Self-­‑Tuning ¡ New ¡Data ¡Model: ¡ Data ¡ ¡Model: ¡we’re ¡ ¡ ¡ Technique ¡for ¡ ¡ New ¡Data ¡Model: ¡ Hybrid ¡soluNons ¡ done ¡with ¡it ¡ New ¡Data ¡Model! ¡ StandardizaNon ¡(?) ¡ You ¡Can ¡Have ¡This ¡ “XML ¡Research ¡ ¡ Blessing/curse ¡ Data ¡Model ¡ and ¡the ¡ ¡ Is ¡Passé” ¡ Industrial ¡adopNon ¡ Previous ¡One! ¡ Ioana ¡Manolescu ¡/ ¡Ecole ¡RESCOM ¡2015 ¡

A ¡piece ¡of ¡self-­‑derision: ¡The ¡Next ¡Data ¡Model ¡ CompuNng ¡ That ¡Will ¡Save ¡The ¡World ¡ New ¡ApplicaNon: ¡ Previous ¡Model ¡Can’t ¡Do ¡It! ¡ New ¡Model: ¡ early ¡days ¡ ¡ For ¡Previous ¡Model, ¡ ¡ First ¡Papers: ¡ This ¡Simple ¡Model ¡ Everything ¡Is ¡Undecidable! ¡ -­‑ First ¡formalism ¡ ¡ Needs ¡Extensions! ¡ (relaNvely ¡ ¡ ¡simple ¡and ¡clean) ¡ New ¡Model: ¡ The ¡Baseline ¡ ¡ -­‑ Toy ¡implementaNon ¡ golden ¡days ¡ ¡ Method ¡Needs ¡ ¡ Op8miza8ons ! ¡ Formerly ¡New ¡ ¡ Self-­‑Tuning ¡ New ¡Model: ¡ Model: ¡we’re ¡ ¡ ¡ Technique ¡for ¡ ¡ New ¡Model: ¡ Hybrid ¡soluNons ¡ done ¡with ¡it ¡ New ¡Model! ¡ StandardizaNon ¡(?) ¡ You ¡Can ¡Have ¡This ¡ “MapReduce ¡ ¡ Blessing/curse ¡ Model ¡ and ¡the ¡ ¡ is ¡out” ¡ Industrial ¡adopNon ¡ Previous ¡One! ¡ Ioana ¡Manolescu ¡/ ¡Ecole ¡RESCOM ¡2015 ¡