OVERVIEW OF DATA EXPLORATION TECHNIQUES Stratos Idreos, - PowerPoint PPT Presentation

OVERVIEW ¡OF ¡DATA ¡ EXPLORATION ¡TECHNIQUES ¡ Stratos ¡Idreos, ¡Olga ¡Papaemmanouil, ¡Surajit ¡Chaudhuri ¡ SIGMOD ¡2015, ¡Melbourne ¡

USER ¡INTERACTION ¡

express ¡ ¡ collaborate ¡ interests ¡ visualize ¡ ¡ annotate ¡ results ¡ query/results ¡ recommendaSons ¡ assisted ¡query ¡ formulaSon ¡ ¡ User ¡Interface ¡Layer ¡ DB ¡

User ¡Interface ¡Layer ¡ DB ¡

User ¡Interface ¡Layer ¡ Data ¡ Visualiza=on ¡ DB ¡

User ¡Interface ¡Layer ¡ Explora=on ¡ ¡ Data ¡ Interface ¡ Visualiza=on ¡ DB ¡

data ¡ ¡ visualizaSon ¡ visualiza=on ¡tools ¡ User ¡Interface ¡Layer ¡ Explora=on ¡ ¡ Data ¡ visual ¡op=miza=ons ¡ Interface ¡ Visualiza=on ¡ automa=c ¡visualiza=on ¡ DB ¡

data ¡ ¡ visualizaSon ¡ visualiza=on ¡tools ¡ User ¡Interface ¡Layer ¡ Explora=on ¡ ¡ Data ¡ visual ¡op=miza=ons ¡ Interface ¡ Visualiza=on ¡ automa=c ¡visualiza=on ¡ DB ¡

(1,1) ¡ (M,1) ¡ Back ¡in ¡1982… ¡ i th ¡tuple ¡goes ¡here ¡ (1,i) ¡ window-­‑based ¡“sophis=cated” ¡ ¡ browser ¡for ¡rela=onal ¡DBs ¡ browser ¡for ¡mulSple ¡relaSons/tuples ¡ ¡ TIMBER ¡ rich ¡query ¡language ¡for ¡icon-­‑oriented ¡DBs ¡ ¡ visual ¡editor ¡of ¡text ¡objects ¡ ¡ browser ¡for ¡geographical ¡data ¡ DB ¡ TIMBER, ¡VLDB’82 ¡ ¡

user-­‑driven ¡ ¡ visualizaSons ¡ visual ¡ ¡ specs ¡ Polaris ¡ back-­‑end ¡ ¡ queries ¡ data ¡ ¡ DB ¡ cubes ¡ Polaris, ¡INFOVIS ¡‘02 ¡ ¡

user-­‑driven ¡ ¡ specificaSons ¡ visual ¡ ¡ visualizaSons ¡ (abributes) ¡ specificaSons ¡ Polaris ¡ back-­‑end ¡ ¡ queries ¡ data ¡ ¡ DB ¡ cubes ¡ back-­‑end ¡queries: ¡data ¡selecSon, ¡parSSon ¡into ¡panes ¡ Polaris, ¡INFOVIS ¡2002 ¡ ¡

user-­‑driven ¡ ¡ transformaSons ¡ visual ¡ ¡ (group ¡by, ¡sort) ¡ visualizaSons ¡ specificaSons ¡ Polaris ¡ back-­‑end ¡ ¡ queries ¡ data ¡ ¡ DB ¡ cubes ¡ back-­‑end ¡queries: ¡data ¡transformaSons ¡ ¡ (group, ¡sort, ¡aggregate ¡within ¡each ¡pane) ¡ ¡ Polaris, ¡INFOVIS ¡2002 ¡ ¡

user-­‑driven ¡ ¡ mappings ¡ (shape, ¡size, ¡color) ¡ visual ¡ ¡ visualizaSons ¡ specificaSons ¡ Polaris ¡ back-­‑end ¡ ¡ queries ¡ data ¡ ¡ DB ¡ cubes ¡ back-­‑end ¡queries: ¡graphical ¡transformaSons ¡(renter ¡and ¡visualize) ¡ Polaris, ¡INFOVIS ¡2002 ¡ ¡

collaboraSve ¡ ¡ exploraSon ¡ live ¡annotaSons ¡ Sky ¡View ¡ ¡ exploraSon ¡for ¡ ¡ sky ¡objects/paberns ¡ AstroShelf, ¡SIGMOD ¡‘12 ¡

collaboraSve ¡ ¡ Live ¡Annota=ons ¡ exploraSon ¡ subscripSons ¡to ¡ ¡ interesSng ¡objects ¡ Sky ¡View ¡ ¡ exploraSon ¡for ¡ ¡ sky ¡objects/paberns ¡ AstroShelf, ¡SIGMOD ¡‘12 ¡

collaboraSve ¡ ¡ Live ¡Annota=ons ¡ exploraSon ¡ stream ¡based ¡ ¡ noSficaSons ¡ Sky ¡View ¡ ¡ exploraSon ¡for ¡ ¡ sky ¡objects/paberns ¡ AstroShelf, ¡SIGMOD ¡‘12 ¡

data ¡ ¡ visualizaSon ¡ visualiza=on ¡tools ¡ User ¡Interface ¡Layer ¡ Explora=on ¡ ¡ Data ¡ visual ¡op=miza=ons ¡ Interface ¡ Visualiza=on ¡ automa=c ¡visualiza=on ¡ DB ¡

automaSc ¡ visualizaSon ¡ request ¡views ¡ ¡ User ¡Interface ¡Layer ¡ interesSng? ¡ ¡ insigheul? ¡ Data ¡ Visualiza=on ¡ review ¡views ¡ ¡ manual, ¡repeSSve ¡exploraSon ¡ for ¡best ¡visualizaSon(s) ¡ ¡ DB ¡ ¡

auto-­‑ranked ¡ ¡ visualizaSons ¡ search, ¡select, ¡ promote, ¡discard, ¡ model ¡ save, ¡share ¡ “good” ¡ VizDeck ¡ ¡charts ¡ filter ¡across ¡charts, ¡ recommend, ¡rank ¡ saved ¡decks/ replay ¡logs ¡ DB ¡ VizDeck, ¡SIGMOD ¡‘12 ¡

automaSc ¡ ¡ visualizaSons ¡ % ¡sales/ ¡region ¡ ¡ sales ¡over ¡Sme ¡ user ¡ ¡ Q 1 ¡ informa=ve ¡ query ¡ visualizaSon ¡ ¡ queries ¡ ¡ Q 2 ¡ uSlity ¡ DB ¡ engine ¡ … ¡ high ¡deviaSon ¡ Q n ¡ from ¡overall ¡dataset ¡ aggregaSons/ ¡ single-­‑abribute ¡ ¡ group-­‑by ¡ ¡ SeeDB, ¡ ¡PVLDB‘13 ¡

data ¡ ¡ visualizaSon ¡ visualiza=on ¡tools ¡ User ¡Interface ¡Layer ¡ Explora=on ¡ ¡ Data ¡ visual ¡op=miza=ons ¡ Interface ¡ Visualiza=on ¡ automa=c ¡visualiza=on ¡ DB ¡

resoluSon ¡ ¡ reducSon ¡ user ¡ ¡ query ¡ ¡ query ¡ results ¡ ¡ Visualiza=on ¡ SciDB ¡ expensive, ¡ineffecSve ¡on ¡big ¡data ¡sets ¡ Scalar, ¡ ¡Big ¡Data ¡Vis ¡‘13 ¡

resoluSon ¡ ¡ reducSon ¡ user ¡ ¡ query ¡ ¡ query ¡ results ¡ ¡ Visualiza=on ¡ SciDB ¡ user ¡ ¡ reduced ¡ query ¡ results ¡ ¡ Data ¡ ¡ Visualiza=on ¡ Reduc=on ¡ modified ¡query ¡plans ¡ filter/aggregate/sample ¡ ¡ SciDB ¡ at ¡given ¡resoluSon ¡ Scalar, ¡ ¡Big ¡Data ¡Vis ¡‘13 ¡

approximate ¡ ¡ visualizaSons ¡ user ¡ ¡ approximate ¡ ¡ reduced ¡ query ¡ chart ¡ results ¡ ¡ Sampling ¡ Visualiza=on ¡ SELECT ¡X, ¡AVG(Y) ¡ same ¡group ¡ ¡ original ¡ ¡ FROM ¡R(X,Y) ¡ DB ¡ ordering ¡ chart ¡ GROUP ¡BY ¡X ¡ ¡ Blais ¡et ¡al, ¡PVLDB ¡‘15 ¡

approximate ¡ ¡ visualizaSons ¡ user ¡ ¡ approximate ¡ ¡ reduced ¡ query ¡ chart ¡ results ¡ ¡ Sampling ¡ Visualiza=on ¡ SELECT ¡X, ¡AVG(Y) ¡ clear ¡ordering ¡ FROM ¡R(X,Y) ¡ DB ¡ less ¡samples ¡ GROUP ¡BY ¡X ¡ ¡ Blais ¡et ¡al, ¡PVLDB ¡‘15 ¡

approximate ¡ ¡ visualizaSons ¡ user ¡ ¡ approximate ¡ ¡ reduced ¡ query ¡ chart ¡ results ¡ ¡ Sampling ¡ Visualiza=on ¡ SELECT ¡X, ¡AVG(Y) ¡ correct ¡order? ¡ FROM ¡R(X,Y) ¡ DB ¡ GROUP ¡BY ¡X ¡ ¡ sample ¡more ¡ ¡ min ¡# ¡samples ¡ ¡ for ¡correct ¡order? ¡ Blais ¡et ¡al, ¡PVLDB ¡‘15 ¡

approximate ¡ ¡ visualizaSons ¡ user ¡ ¡ approximate ¡ ¡ reduced ¡ query ¡ chart ¡ results ¡ ¡ Sampling ¡ Visualiza=on ¡ SELECT ¡X, ¡AVG(Y) ¡ FROM ¡R(X,Y) ¡ DB ¡ #samples ¡ Group ¡1 ¡ Group ¡2 ¡ Group ¡3 ¡ Group ¡4 ¡ GROUP ¡BY ¡X ¡ ¡ 1 ¡ [60,90] ¡ [20,50] ¡ [10,40] ¡ [40,70] ¡ 20 ¡ [64,84] ¡ [30,48] ¡ [15,35] ¡ [45,65] ¡ 21 ¡ [66,84], ¡I ¡ [30,48] ¡ [17,35] ¡ [46,64] ¡ 70 ¡ [66,84], ¡I ¡ [40,47] ¡ [17,32], ¡I ¡ [46,53] ¡ sampling ¡ ¡phases/ ¡ ¡confidence ¡intervals ¡ Blais ¡et ¡al, ¡PVLDB ¡‘15 ¡

visualizaSon ¡ ¡ management ¡ ¡ user ¡ ¡ query ¡ ¡ query ¡ results ¡ ¡ Visualiza=on ¡ DB ¡ overlapping ¡ replicated ¡ memory ¡opera=ons ¡ user ¡queries ¡ db ¡opera=ons ¡ on ¡big ¡data ¡ Ermac, ¡PVLDB ¡‘14 ¡

visualizaSon ¡ ¡ management ¡ ¡ user ¡ ¡ query ¡ ¡ query ¡ results ¡ ¡ Visualiza=on ¡ DB ¡ transforma=ons ¡to ¡pixel ¡space ¡ visual ¡op=miza=ons ¡ visual ¡ ¡ reduced ¡ ¡ rendering ¡=me ¡ specifica=ons ¡ ¡ DVMS ¡ logical ¡visual ¡plans ¡ è ¡physical ¡query ¡plans ¡ Ermac, ¡PVLDB ¡‘14 ¡

exploraSon ¡ interfaces ¡ automa=c ¡ explora=on ¡ User ¡Interface ¡Layer ¡ assisted ¡query ¡ Explora=on ¡ ¡ Data ¡ Interface ¡ formula=on ¡ Visualiza=on ¡ novel ¡query ¡interfaces ¡ DB ¡

exploraSon ¡ interfaces ¡ automa=c ¡ explora=on ¡ User ¡Interface ¡Layer ¡ assisted ¡query ¡ Explora=on ¡ ¡ Data ¡ Interface ¡ formula=on ¡ Visualiza=on ¡ novel ¡query ¡interfaces ¡ DB ¡

manual ¡vs ¡automaSc ¡ ¡ data ¡exploraSon ¡ long, ¡imprecise, ¡ ¡labor-­‑intensive ¡process ¡ DB ¡ manual ¡ SQL ¡query ¡ ¡ query ¡ ¡ result ¡ ¡ predicate ¡ formulaSon ¡ execuSon ¡ review ¡ adjustment ¡