The MAGIC Poten.al of Large Online Experiments for Theory - PowerPoint PPT Presentation

The ¡MAGIC ¡Poten.al ¡of ¡Large ¡Online ¡ Experiments ¡for ¡Theory ¡Development ¡ Darren ¡Gergle ¡ Northwestern ¡University ¡ ¡ Discussant ¡for ¡D. ¡Lomas’ ¡ ¡ “Accelera=ng ¡Theory ¡Development ¡with ¡Large ¡Online ¡Experiments: ¡ Towards ¡an ¡Interac=on ¡Design ¡Science” ¡

What ¡Derek ¡Gives ¡Us… ¡At ¡a ¡High ¡Level ¡ +

What ¡Derek ¡Gives ¡Us… ¡More ¡Concretely ¡ ¡ A ¡vision ¡of ¡the ¡poten=al ¡and ¡vast ¡scale ¡of ¡online ¡ experimenta=on ¡for ¡theory ¡development ¡ ¡ • > ¡10,000 ¡online ¡controlled ¡experiments ¡every ¡day ¡ ¡ ¡(Stu’s ¡“expensive ¡experiments” ¡comment…) ¡ ¡ • Demonstrates ¡scale ¡ within ¡a ¡given ¡study ¡ ¡ (a ¡2 ¡x ¡9 ¡x ¡8 ¡x ¡6 ¡x ¡4 ¡x ¡4 ¡factorial; ¡n ¡= ¡69,642) ¡ • Suggests ¡scale ¡ across ¡ studies ¡

A ¡“Design ¡PaFern” ¡for ¡Online ¡Theory ¡Tes.ng ¡ ¡ (1) ¡ Set ¡a ¡goal ¡of ¡contribu.ng ¡to ¡theory ¡ (2) ¡ Use ¡theory ¡to ¡predict ¡how ¡design ¡varia.ons ¡will ¡ ¡ ¡ ¡ ¡ ¡ ¡influence ¡outcomes ¡ • Link ¡soXware ¡design ¡to ¡theore=cal ¡factors ¡(predictors, ¡IVs) ¡ • Link ¡soXware ¡metrics ¡to ¡theore=cal ¡constructs ¡(outcomes, ¡DVs) ¡ (3) ¡ Generate ¡designs ¡that ¡only ¡differ ¡on ¡important ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡theore.cal ¡factors ¡ (4) ¡ Randomly ¡assign ¡par.cipants ¡to ¡condi.ons ¡ (5) ¡ Sta.s.cally ¡test ¡the ¡hypotheses ¡and ¡assess ¡outcomes ¡ J. ¡Derek ¡Lomas ¡(2014).”Op=mizing ¡Mo=va=on ¡and ¡Learning ¡with ¡Large-­‑Scale ¡Game ¡Design ¡ Experiments”, ¡Carnegie ¡Mellon ¡University ¡Doctoral ¡Disserta=on ¡(CMU-­‑HCII-­‑14-­‑112) ¡

A ¡Powerful ¡Idea ¡for ¡Dealing ¡with ¡Scale ¡ ¡ Integrate ¡techniques ¡from ¡ ¡ AI ¡& ¡ML ¡to ¡efficiently ¡search ¡ ¡ a ¡ theore-cal ¡design ¡space ¡

“Accelera.ng ¡Theory ¡Development ¡ ¡ ¡ ¡with ¡Large ¡Online ¡Experiments” ¡ What ¡are ¡the ¡poten=al ¡ benefits? ¡ ¡ ¡ What ¡are ¡some ¡of ¡the ¡ challenges ¡(i.e., ¡nits)? ¡ Robert ¡P. ¡Abelson ¡(1995). ¡ Sta-s-cs ¡as ¡Principled ¡Argument . ¡ Hillsdale, ¡NJ: ¡L. ¡Erlbaum ¡and ¡Associates. ¡ ¡ Gergle, ¡D., ¡& ¡Tan, ¡D. ¡(2014). ¡Experimental ¡Research ¡in ¡HCI. ¡In ¡ Ways ¡of ¡Knowing ¡in ¡HCI. ¡(Eds: ¡J.S. ¡Olson ¡and ¡W. ¡Kellogg). ¡ Springer. ¡

The ¡“MAGIC” ¡ ¡ Criteria ¡

Magnitude ¡ “The ¡strength ¡of ¡a ¡sta-s-cal ¡argument ¡is ¡enhanced ¡in ¡accord ¡ with ¡the ¡quan-ta-ve ¡magnitude ¡of ¡support ¡for ¡its ¡qualita-ve ¡ claim” ¡ –Abelson ¡ “How ¡large ¡is ¡the ¡effect?” ¡–Gergle ¡ ¡ ¡ Benefits ¡of ¡large-­‑scale ¡online ¡experimenta.on ¡ • Large ¡sample ¡sizes ¡and ¡increased ¡sta=s=cal ¡power ¡ ¡ (i.e., ¡likelihood ¡of ¡detec=ng ¡an ¡effect ¡given ¡that ¡one ¡exists) ¡ • Many ¡HCI ¡studies ¡are ¡under ¡powered ¡ Challenges ¡of ¡large-­‑scale ¡online ¡experimenta.on ¡ • With ¡such ¡power, ¡how ¡do ¡we ¡determine ¡what ¡is ¡a ¡ meaningful ¡effect? ¡ ¡ • We ¡need ¡to ¡report ¡ effect ¡sizes , ¡ cause ¡sizes , ¡and ¡discuss ¡ causal ¡efficacy ¡

Ar.cula.on ¡ “… ¡the ¡degree ¡of ¡comprehensible ¡detail ¡in ¡which ¡conclusions ¡are ¡ phrased” ¡–Abelson ¡ “How ¡detailed ¡are ¡the ¡findings?” ¡ –Gergle ¡ ¡ Benefits ¡of ¡large-­‑scale ¡online ¡experimenta.on ¡ • Inves=gate ¡a ¡large ¡# ¡of ¡factors ¡and ¡their ¡rela=onships ¡ • Move ¡from ¡the ¡ existence ¡ of ¡an ¡effect ¡to ¡describing ¡ ¡ when , ¡ how ¡ and ¡ why ¡ ¡ • Permit ¡process-­‑oriented ¡techniques ¡ ¡ (e.g., ¡Condi=onal ¡Process ¡Analysis) ¡ ¡ Challenges ¡of ¡large-­‑scale ¡experimenta.on ¡ • Repor=ng ¡effects ¡(2-­‑way ¡vs. ¡6-­‑way ¡interac=on) ¡ • Poten=al ¡for ¡the ¡loss ¡of ¡theore=cal ¡conciseness ¡and ¡ coherence ¡

Generality ¡ “Generality ¡denotes ¡the ¡breadth ¡of ¡applicability ¡of ¡the ¡ conclusions.” ¡ –Abelson ¡ ¡ “How ¡broadly ¡do ¡the ¡findings ¡apply?” ¡ –Gergle ¡ Benefits ¡of ¡large-­‑scale ¡experimenta.on ¡ • Access ¡to ¡larger ¡and ¡poten=ally ¡broader ¡samples ¡ • Mul=ple ¡approaches ¡to ¡answering ¡the ¡same ¡ques=on ¡ • Same ¡approach ¡in ¡mul=ple ¡contexts ¡ Challenges ¡of ¡large-­‑scale ¡experimenta.on ¡ • Unknown ¡demographics ¡and ¡contextual ¡variables ¡ • Selec=on ¡and ¡sampling ¡biases ¡(e.g., ¡Hargioai ¡et ¡al.) ¡ Eszter ¡Hargioai ¡(2014). ¡Is ¡Bigger ¡Always ¡Beoer? ¡Poten=al ¡Biases ¡of ¡Big ¡Data ¡Derived ¡from ¡ Social ¡Network ¡Sites. ¡

Selec.on ¡Effects ¡ Abraham ¡Wald ¡(1943). ¡A ¡Method ¡of ¡Es=ma=ng ¡Plane ¡Vulnerability ¡Based ¡on ¡Damage ¡of ¡Survivors. ¡ Original ¡plane ¡outline ¡created ¡by ¡Jaap ¡Knevel ¡from ¡the ¡Noun ¡Project. ¡

Interes.ngness ¡ “For ¡a ¡sta-s-cal ¡story ¡to ¡be ¡theore-cally ¡interes-ng, ¡it ¡ must ¡have ¡the ¡poten-al ¡… ¡to ¡ change ¡what ¡people ¡believe ¡ about ¡an ¡ important ¡issue ” ¡ –Abelson ¡ ¡ “Yes. ¡What ¡he ¡said.” ¡ –Gergle ¡ Benefits ¡of ¡large-­‑scale ¡experimenta.on ¡ • Derek’s ¡work ¡challenges ¡the ¡the ¡dominant ¡theory ¡that ¡suggests ¡ “moderate ¡challenge ¡maximizes ¡mo=va=on,” ¡instead ¡we ¡need ¡ to ¡consider ¡ both ¡ challenge ¡ and ¡ novelty ¡ Challenges ¡of ¡large-­‑scale ¡experimenta.on ¡ • Thoughts? ¡

Credibility ¡ “Credibility ¡refers ¡to ¡the ¡believability ¡of ¡a ¡research ¡claim. ¡It ¡ requires ¡both ¡ methodological ¡soundness , ¡and ¡ theore7cal ¡ coherence .” ¡– ¡Abelson ¡ “How ¡believable ¡is ¡it?” ¡ –Gergle ¡ ¡ Benefits ¡of ¡large-­‑scale ¡experimenta.on ¡ • Opportunity ¡for ¡embedded ¡replica=ons ¡and ¡extensions ¡ Challenges ¡of ¡large-­‑scale ¡experimenta.on ¡ • Credibility ¡in ¡science ¡includes ¡doing ¡things ¡according ¡to ¡pre-­‑ established ¡best ¡prac=ces– what ¡happens ¡when ¡we ¡don’t ¡have ¡ those ? ¡ • … ¡ ¡ Jean-­‑Christophe ¡Plan=n, ¡C. ¡Lagoze, ¡P. ¡Edwards, ¡and ¡C. ¡Sandvig ¡C. ¡(forthcoming) ¡“Big ¡Data ¡is ¡not ¡About ¡ Size ¡: ¡When ¡Data ¡Transform ¡Scholarship,” ¡in ¡Mabi, ¡C., ¡Plan=n ¡JC., ¡Monnoyer-­‑Smith ¡L., ¡(eds.) ¡

Null ¡Hypothesis ¡Significance ¡Tes.ng ¡ “…the ¡null ¡hypothesis ¡ significance ¡tes=ng ¡procedure ¡ is ¡ invalid … ¡ BASP ¡is ¡banning ¡ the ¡NHSTP .” ¡ ¡ “…prior ¡to ¡publica=on, ¡ authors ¡ will ¡have ¡to ¡remove ¡… ¡ ¡ (p-­‑values, ¡t-­‑values, ¡F-­‑values, ¡ statements ¡about ¡‘‘significant’’ ¡ differences ¡or ¡lack ¡thereof, ¡ and ¡so ¡on).” ¡ David ¡Trafimow ¡& ¡Michael ¡Marks ¡(2015) ¡Editorial, ¡ Basic ¡and ¡Applied ¡Social ¡Psychology , ¡37:1, ¡1-­‑2. ¡

The ¡BASP ¡Ban ¡on ¡NHST ¡ ✗ P(H 0 ¡true|observed ¡data) ¡ What ¡a ¡p-­‑value ¡tells ¡us: ¡ ¡ ✓ ¡ ✗ P(H A ¡true|observed ¡data) ¡ P(observed ¡data|H 0 ¡true) ¡ I’m ¡not ¡even ¡certain ¡ about ¡you ¡two… ¡I ¡find ¡ Oooh ¡pick ¡us ¡ your ¡Laplacian ¡ – ¡we ¡have ¡a ¡ assump.ons ¡and ¡ much ¡beFer ¡ priors ¡troubling! ¡ way! ¡