Invisible Glue: Scalable Self-Tuning Mul5-Stores Francesca - PowerPoint PPT Presentation

Invisible ¡Glue: ¡ ¡ Scalable ¡Self-­‑Tuning ¡Mul5-­‑Stores ¡ Francesca ¡Bugio; § , ¡Damian ¡Bursztyn § , ¡ ¡ Alin ¡Deutsch ¶ , ¡ Ioana ¡Ileana § , ¡Ioana ¡Manolescu § ¡ ¡ § ¡ OAK ¡team, ¡INRIA, ¡France ¡ ¶ ¡ DB ¡group, ¡UC. ¡California ¡San ¡Diego ¡ ¡ ¡ Bugio;, ¡Bursztyn, ¡Deutsch, ¡Ileana, ¡Manolescu ¡/ ¡Estocada ¡/ ¡CIDR ¡2015 ¡

The ¡problem ¡ • Glut ¡of ¡ varied ¡data ¡management ¡systems ¡(DMS) ¡ ¡ – DM ¡includes ¡ ¡DBMS ¡ • Different ¡ data ¡models : ¡ ¡ NoSQL ¡DMSs ¡ – Rela5onal, ¡nested ¡rela5onal, ¡tree, ¡k-­‑v, ¡graphs, ¡… ¡ ¡ -­‑ Different ¡ data ¡access ¡capabili2es ¡ (from ¡simple ¡ API ¡to ¡various ¡query ¡languages) ¡ ¡ -­‑ Different ¡ architectures : ¡disk-­‑ ¡vs. ¡memory-­‑based, ¡ centralized ¡vs. ¡distributed ¡etc. ¡ Cloud ¡DMSs ¡ -­‑ Different ¡ performance ¡ ¡ ¡ -­‑ Different ¡levels ¡of ¡ transac2on ¡support ¡ ¡ Bugio;, ¡Bursztyn, ¡Deutsch, ¡Ileana, ¡Manolescu ¡/ ¡Estocada ¡/ ¡CIDR ¡2015 ¡

The ¡problem ¡ • Glut ¡of ¡ varied ¡data ¡management ¡systems ¡(DMS) ¡ ¡ – DM ¡includes ¡ ¡DBMS ¡ • Different ¡ data ¡models : ¡ ¡ NoSQL ¡DMSs ¡ – Rela5onal, ¡nested ¡rela5onal, ¡tree, ¡k-­‑v, ¡graphs, ¡… ¡ ¡ How ¡do ¡we ¡get ¡ -­‑ Different ¡ data ¡access ¡capabili2es ¡ (from ¡simple ¡ performance ¡ ¡ API ¡to ¡various ¡query ¡languages) ¡ ¡ for ¡a ¡variety ¡of ¡datasets ¡ -­‑ Different ¡ architectures : ¡disk-­‑ ¡vs. ¡memory-­‑based, ¡ on ¡a ¡variety ¡of ¡DMSs ¡ ¡ ¡ centralized ¡vs. ¡distributed ¡etc. ¡ Cloud ¡DMSs ¡ -­‑ Different ¡ performance ¡ ¡ ¡ -­‑ Different ¡levels ¡of ¡ transac2on ¡support ¡ ¡ Bugio;, ¡Bursztyn, ¡Deutsch, ¡Ileana, ¡Manolescu ¡/ ¡Estocada ¡/ ¡CIDR ¡2015 ¡

The ¡problem ¡ • Glut ¡of ¡ varied ¡data ¡management ¡systems ¡(DMS) ¡ ¡ – DM ¡includes ¡ ¡DBMS ¡ How ¡do ¡we ¡get ¡ • Different ¡ data ¡models : ¡ ¡ NoSQL ¡DMSs ¡ performance ¡ ¡ – Rela5onal, ¡nested ¡rela5onal, ¡tree, ¡k-­‑v, ¡graphs, ¡… ¡ ¡ for ¡a ¡variety ¡of ¡datasets ¡ Focus ¡not ¡on ¡ bea2ng ¡the ¡most ¡ -­‑ Different ¡ data ¡access ¡capabili2es ¡ (from ¡simple ¡ on ¡a ¡variety ¡of ¡DMSs ¡ ¡ ¡ specialized ¡op2miza2ons ¡ of ¡the ¡ API ¡to ¡various ¡query ¡languages) ¡ ¡ most ¡specialized ¡engine ¡for ¡a ¡ -­‑ Different ¡ architectures : ¡disk-­‑ ¡vs. ¡memory-­‑based, ¡ given ¡model /applica5on. ¡ centralized ¡vs. ¡distributed ¡etc. ¡ Cloud ¡DMSs ¡ -­‑ Different ¡ performance ¡ ¡ ¡ -­‑ Different ¡levels ¡of ¡ transac2on ¡support ¡ ¡ Bugio;, ¡Bursztyn, ¡Deutsch, ¡Ileana, ¡Manolescu ¡/ ¡Estocada ¡/ ¡CIDR ¡2015 ¡

The ¡problem ¡ • Glut ¡of ¡ varied ¡data ¡management ¡systems ¡(DMS) ¡ ¡ – DM ¡includes ¡ ¡DBMS ¡ How ¡do ¡we ¡get ¡ • Different ¡ data ¡models : ¡ ¡ NoSQL ¡DMSs ¡ performance ¡ ¡ – Rela5onal, ¡nested ¡rela5onal, ¡tree, ¡k-­‑v, ¡graphs, ¡… ¡ ¡ for ¡a ¡variety ¡of ¡datasets ¡ Focus ¡not ¡on ¡ bea2ng ¡the ¡most ¡ -­‑ Different ¡ data ¡access ¡capabili2es ¡ (from ¡simple ¡ on ¡a ¡variety ¡of ¡DMSs ¡ ¡ ¡ specialized ¡op2miza2ons ¡ of ¡the ¡ API ¡to ¡various ¡query ¡languages) ¡ ¡ most ¡specialized ¡engine ¡for ¡a ¡ -­‑ Different ¡ architectures : ¡disk-­‑ ¡vs. ¡memory-­‑based, ¡ Focus ¡on ¡ robust ¡performance ¡for ¡ given ¡model/applica5on. ¡ centralized ¡vs. ¡distributed ¡etc. ¡ Cloud ¡DMSs ¡ varied ¡data ¡models ¡ across ¡a ¡ -­‑ Different ¡ performance ¡ ¡ ¡ changing ¡set ¡of ¡heterogeneous ¡ -­‑ Different ¡levels ¡of ¡ transac2on ¡support ¡ ¡ DMSs ¡ ¡ Bugio;, ¡Bursztyn, ¡Deutsch, ¡Ileana, ¡Manolescu ¡/ ¡Estocada ¡/ ¡CIDR ¡2015 ¡

The ¡problem, ¡qualified ¡ • Glut ¡of ¡ varied ¡data ¡management ¡systems ¡(DMS) ¡ ¡ With ¡ With ¡ no ¡hassle ¡ – DM ¡includes ¡ ¡DBMS ¡ correctness ¡ for ¡the ¡ Automa2cally ¡ guarantees ¡ applica2on ¡ layer ¡ • Different ¡ data ¡models : ¡ ¡ NoSQL ¡DMSs ¡ – Rela5onal, ¡nested ¡rela5onal, ¡tree, ¡k-­‑v, ¡graphs, ¡… ¡ ¡ How ¡do ¡we ¡get ¡ -­‑ Different ¡ data ¡access ¡capabili2es ¡ (from ¡simple ¡ performance ¡ ¡ API ¡to ¡various ¡query ¡languages) ¡ ¡ for ¡a ¡variety ¡of ¡datasets ¡ -­‑ Different ¡ architectures : ¡disk-­‑ ¡vs. ¡memory-­‑based, ¡ Resilient ¡to ¡ on ¡a ¡variety ¡of ¡DMSs ¡ ¡ ¡ centralized ¡vs. ¡distributed ¡etc. ¡ changes ¡ Cloud ¡DMSs ¡ -­‑ Different ¡ performance ¡ ¡ ¡ -­‑ Different ¡levels ¡of ¡ transac2on ¡support ¡ ¡ Bugio;, ¡Bursztyn, ¡Deutsch, ¡Ileana, ¡Manolescu ¡/ ¡Estocada ¡/ ¡CIDR ¡2015 ¡

A ¡piece ¡of ¡self-­‑derision: ¡The ¡Next ¡Data ¡Model ¡ That ¡Will ¡Save ¡The ¡World ¡ New ¡Applica5on: ¡ Previous ¡Data ¡Model ¡Can’t ¡Do ¡It! ¡ New ¡Data ¡Model: ¡ early ¡days ¡ ¡ For ¡Previous ¡Data ¡Model, ¡ ¡ First ¡Papers: ¡ This ¡Simple ¡Model ¡ Everything ¡Is ¡Undecidable! ¡ -­‑ First ¡formalism ¡ ¡ Needs ¡Extensions! ¡ (rela5vely ¡ ¡ ¡simple ¡and ¡clean) ¡ New ¡Data ¡Model: ¡ The ¡Baseline ¡ ¡ -­‑ First ¡query ¡language, ¡ ¡ golden ¡days ¡ ¡ Method ¡Needs ¡ ¡ toy ¡implementa5on ¡ Op2miza2ons ! ¡ Formerly ¡New ¡ ¡ Self-­‑Tuning ¡ New ¡Data ¡Model: ¡ Data ¡ ¡Model: ¡we’re ¡ ¡ ¡ Technique ¡for ¡ ¡ New ¡Data ¡Model: ¡ Hybrid ¡solu5ons ¡ done ¡with ¡it ¡ New ¡Data ¡Model! ¡ Standardiza5on ¡(?) ¡ You ¡Can ¡Have ¡This ¡ “XML ¡Research ¡ ¡ Blessing/curse ¡ Data ¡Model ¡ and ¡the ¡ ¡ Is ¡Passé” ¡ Industrial ¡adop5on ¡ Previous ¡One! ¡ Bugio;, ¡Bursztyn, ¡Deutsch, ¡Ileana, ¡Manolescu ¡/ ¡Estocada ¡/ ¡CIDR ¡2015 ¡

invisible ¡glue ¡for ¡ heterogeneous ¡stores ¡ • Data ¡models: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(side ¡by ¡side) ¡ – As ¡the ¡data ¡is ¡ • Systems: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(side ¡by ¡side) ¡ – Those ¡available ¡ • Store ¡each ¡data ¡set ¡as ¡a ¡set ¡of ¡ ¡ – Or ¡splits ¡/ ¡shards ¡/ ¡par55ons ¡/ ¡indexes ¡/ ¡ ¡ materialized ¡(poten5ally ¡indexed) ¡ – Each ¡fragment ¡resides ¡in ¡a ¡DMS ¡ Bugio;, ¡Bursztyn, ¡Deutsch, ¡Ileana, ¡Manolescu ¡/ ¡Estocada ¡/ ¡CIDR ¡2015 ¡

Dataset ¡fragmenta5ons ¡ A ¡ C ¡ A ¡ B ¡ A ¡ B ¡ C ¡ D ¡ 1 ¡ 1 ¡ 1 ¡ 2 ¡ 2 ¡ 2 ¡ 3 ¡ 3 ¡ A ¡ B ¡ C ¡ D ¡ 4 ¡ 4 ¡ 1 ¡ 5 ¡ 5 ¡ A ¡ B ¡ C ¡ D ¡ 2 ¡ 6 ¡ 6 ¡ 3 ¡ 3 ¡ 4 ¡ 4 ¡ A ¡ D ¡ A ¡ B ¡ C ¡ D ¡ 5 ¡ 1 ¡ 1 ¡ 6 ¡ 2 ¡ A ¡ B ¡ C ¡ D ¡ 3 ¡ 3 ¡ 5 ¡ 4 ¡ 6 ¡ A ¡ B ¡ C ¡ D ¡ 5 ¡ 5 ¡ 6 ¡ 6 ¡ Bugio;, ¡Bursztyn, ¡Deutsch, ¡Ileana, ¡Manolescu ¡/ ¡Estocada ¡/ ¡CIDR ¡2015 ¡

Dataset ¡fragmenta5ons ¡ Example: ¡rela5onal ¡dataset ¡R ¡ Bugio;, ¡Bursztyn, ¡Deutsch, ¡Ileana, ¡Manolescu ¡/ ¡Estocada ¡/ ¡CIDR ¡2015 ¡

Dataset ¡fragmenta5ons ¡ Example: ¡rela5onal ¡dataset ¡R ¡ Bugio;, ¡Bursztyn, ¡Deutsch, ¡Ileana, ¡Manolescu ¡/ ¡Estocada ¡/ ¡CIDR ¡2015 ¡

Dataset ¡fragmenta5ons ¡ Example: ¡rela5onal ¡dataset ¡R ¡ Bugio;, ¡Bursztyn, ¡Deutsch, ¡Ileana, ¡Manolescu ¡/ ¡Estocada ¡/ ¡CIDR ¡2015 ¡

Dataset ¡fragmenta5ons ¡ Example: ¡rela5onal ¡dataset ¡R ¡ Bugio;, ¡Bursztyn, ¡Deutsch, ¡Ileana, ¡Manolescu ¡/ ¡Estocada ¡/ ¡CIDR ¡2015 ¡

Dataset ¡fragmenta5ons ¡ Example: ¡rela5onal ¡dataset ¡R ¡ Bugio;, ¡Bursztyn, ¡Deutsch, ¡Ileana, ¡Manolescu ¡/ ¡Estocada ¡/ ¡CIDR ¡2015 ¡