Evalua<ng your Ubicomp prototype SPCL-E2012 Pervasive - PowerPoint PPT Presentation

Evalua<ng ¡your ¡Ubicomp ¡prototype SPCL-­‑E2012 ¡Pervasive ¡Compu5ng ¡course ¡(project) Thomas ¡Pederson Associate ¡Professor, ¡Pervasive ¡Interac<on ¡Technology ¡Lab IT ¡University ¡of ¡Copenhagen tped@itu.dk IT ¡UNIVERSITY ¡OF ¡COPENHAGEN ¡ ¡ www.itu.dk

agenda ¡for ¡today focus ¡is ¡on ¡helping ¡you ¡plan ¡the ¡final ¡evalua<on ¡of ¡your ¡ubicomp ¡prototype • mini ¡lecture ¡on ¡ubicomp ¡system ¡evalua2on ¡(30 ¡minutes) – example ¡of ¡quan2ta2ve ¡evalua2on – example ¡of ¡qualita2ve ¡evalua2on • groups ¡reflect ¡on ¡their ¡intermediate ¡and ¡final ¡evalua2on ¡approach (we ¡will ¡roam ¡around ¡and ¡provide ¡feedback) Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project Thomas ¡Pederson, ¡tped@itu.dk

Ubicomp ¡is ¡a ¡design ¡science natural ¡science ¡is ¡concerned ¡with ¡how ¡things ¡ are design ¡science ¡is ¡concerned ¡with ¡how ¡things ¡ ought ¡to ¡be – [Herbert ¡Simon, ¡1969, ¡"The ¡Sciences ¡of ¡the ¡Ar<ficial"] behavioural ¡science ¡is ¡concerned ¡with ¡ understanding ¡ "organiza<onal ¡human ¡phenomena" Ubicomp ¡as ¡a ¡scien<fic ¡discipline ¡borrows ¡a ¡bit ¡from ¡all ¡ three ¡but ¡is ¡primarily ¡a ¡design ¡science Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project Thomas ¡Pederson, ¡tped@itu.dk

some ¡evalua<on ¡method ¡types natural ¡science • lab ¡studies ¡(experiments, ¡quan<ta<ve) design ¡science • par<cipatory ¡design ¡(incremental ¡itera<ve ¡evalua<on) behavioural ¡science • ethnography ¡(non-­‑invasive ¡studies) Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project Thomas ¡Pederson, ¡tped@itu.dk

from ¡the ¡design ¡lecture ¡on ¡the ¡ Pervasive ¡Compu<ng ¡(lecture) ¡course understanding ¡the ¡use ¡context methods • contextual ¡inquiry • cri2cal ¡incident ¡interviews • ethnography ¡ • diary ¡studies ¡ • probes ¡(cultural, ¡technological) • task ¡analysis • lab ¡studies • ques<onnaires Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project Thomas ¡Pederson, ¡tped@itu.dk

evalua<on ¡in ¡ubicomp ¡system ¡design ¡is ¡ o_en ¡done ¡again ¡and ¡again ¡and... • evalua<on ¡efforts ¡typically ¡go ¡ from ¡focusing ¡on ¡understanding ¡ observa<on and ¡iden<fying ¡users' ¡needs ¡to ¡ whether ¡the ¡proposed ¡ubicomp ¡ understanding system ¡meets ¡those ¡needs • some<mes ¡the ¡need ¡is ¡not ¡a ¡user ¡ need ¡but ¡a ¡ubicomp ¡ designers ' ¡ need evalua<on design e.g. ¡to ¡get ¡beAer ¡precision ¡in ¡ loca5on ¡tracking ¡of ¡objects ¡in ¡a ¡ home ¡environment implementa<on Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project Thomas ¡Pederson, ¡tped@itu.dk

important ¡dis<nc<ons • forma<ve ¡evalua<on ¡vs. ¡summa<ve ¡evalua<on • qualita<ve ¡studies ¡vs. ¡quan<ta<ve ¡studies • "on ¡site" ¡observa<ons ¡vs. ¡lab ¡experiments Ubicomp ¡system ¡designers ¡use ¡both ¡quan<ta<ve ¡evalua<on ¡methods ¡(e.g ¡for ¡ measuring ¡technical ¡performance ¡aspects ¡of ¡a ¡system) ¡and ¡qualita<ve ¡methods ¡ (e.g. ¡for ¡measuring ¡users' ¡opinions) Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project Thomas ¡Pederson, ¡tped@itu.dk

example ¡paper, ¡quan<ta<ve ¡eval ¡+ ¡terms • forma<ve ¡evalua<on ¡vs. ¡summa<ve ¡evalua<on • qualita<ve ¡studies ¡vs. ¡quan<ta<ve ¡studies • "on ¡site" ¡observa<ons ¡vs. ¡lab ¡experiments – ¡Par<cipant – ¡Independent ¡variable ¡(test ¡condi<ons) – ¡Dependent ¡variable – ¡Within ¡subjects ¡vs. ¡between ¡subjects – ¡Counterbalancing Example ¡paper: Tinwala, ¡H. ¡and ¡MacKenzie, ¡I. ¡S., ¡Eyes-­‑free ¡text ¡entry ¡with ¡error ¡correc<on ¡on ¡touchscreen ¡mobile ¡devices, ¡ Proceedings ¡of ¡the ¡6th ¡Nordic ¡Conference ¡on ¡Human-­‑Computer ¡Interac<on ¡-­‑ ¡NordiCHI ¡2010, (New ¡York: ¡ACM, ¡2010), ¡511-­‑520. Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project Thomas ¡Pederson, ¡tped@itu.dk

example ¡of ¡quan<ta<ve ¡evalua<on Tinwala ¡et ¡al. ¡(2010) • new ¡prototype ¡for ¡eyes ¡free ¡mobile ¡text ¡wri<ng – ¡error ¡correc<on ¡and ¡feedback ¡on ¡word ¡level ¡instead ¡of ¡leier – ¡improved ¡error ¡correc<on ¡algorithm – ¡new ¡interac<on ¡method ¡(auditory ¡display) ¡and ¡three ¡different ¡ feedback ¡modes: ¡"Immediate"; ¡"OneLeier"; ¡"Delayed" • Par<cipants ¡(gender, ¡age, ¡mean, ¡SD, ¡level ¡of ¡exper<se) • Apparatus ¡(hardware ¡& ¡so_ware ¡setup) • Procedure ¡(contextual ¡factors, ¡pre-­‑experiment ¡training, ¡ instruc<ons ¡from ¡experiment ¡leaders) • Design ¡(within ¡subjects ¡vs. ¡between ¡subjects, ¡ independent ¡& ¡dependent ¡variables, ¡counterbalancing) • Results ¡( F 2,18 ¡= ¡32.3, ¡ p ¡< ¡.0001 ¡for ¡"entry ¡mode") Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project Thomas ¡Pederson, ¡tped@itu.dk

example ¡paper, ¡qualita<ve ¡evalua<on • forma<ve ¡evalua<on ¡vs. ¡summa<ve ¡evalua<on • qualita<ve ¡studies ¡vs. ¡quan<ta<ve ¡studies • "on ¡site" ¡observa<ons ¡vs. ¡lab ¡experiments Example ¡paper: Janet ¡van ¡der ¡Linden, ¡Yvonne ¡Rogers, ¡Maria ¡Oshodi, ¡Adam ¡Spiers, ¡David ¡McGoran, ¡Rafael ¡Cronin, ¡and ¡Paul ¡ O'Dowd. ¡2011. ¡Hap<c ¡reassurance ¡in ¡the ¡pitch ¡black ¡for ¡an ¡immersive ¡theatre ¡experience. ¡In ¡Proceedings ¡of ¡the ¡ 13th ¡interna<onal ¡conference ¡on ¡Ubiquitous ¡compu<ng(UbiComp ¡'11). ¡ACM, ¡New ¡York, ¡NY, ¡USA, ¡143-­‑152. ¡ DOI=10.1145/2030112.2030133 ¡hip://doi.acm.org/10.1145/2030112.2030133 Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project Thomas ¡Pederson, ¡tped@itu.dk

example ¡of ¡qualita<ve ¡evalua<on van ¡der ¡Linden ¡et ¡al. ¡(2011) • Exploring ¡the ¡possibili<es ¡of ¡making ¡blind ¡and ¡sighted ¡ persons ¡experience ¡the ¡same ¡– ¡components: (i) ¡a ¡narra<ve ¡heard ¡through ¡headphones, ¡(ii) ¡sound ¡effects ¡to ¡enhance ¡the ¡ narra<ve, ¡(iii) ¡a ¡tac<le ¡set ¡that ¡provide ¡s<muli ¡to ¡be ¡touched ¡and ¡felt, ¡(iv) ¡a ¡live ¡ (blind) ¡actor ¡speaking ¡about ¡being ¡blind ¡and, ¡(v) ¡the ¡hap<c ¡device, ¡to ¡augment ¡the ¡ audience ¡members ¡experience ¡through ¡the ¡space • Mix ¡of ¡evalua<on ¡methods – ¡CCTV ¡camera ¡observa<on; ¡ques<onnaires; ¡open-­‑ended ¡interviews; ¡interviews – ¡focus: ¡how ¡the ¡hap<c ¡experience ¡influenced ¡blind ¡and ¡sighted ¡par<cipants • Results – ¡quote ¡recita<ons ¡mixed ¡with ¡reflec<ons ¡from ¡the ¡experimenters; – ¡video ¡observa<ons ¡leading ¡to ¡categoriza<on ¡of ¡human ¡behaviour ¡ and ¡iden<fica<on ¡of ¡differences ¡between ¡blind ¡and ¡sighted ¡ par<cipants Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project Thomas ¡Pederson, ¡tped@itu.dk