Deployment and Evalua0on Beyond Prototypes: Challenges in - PowerPoint PPT Presentation

Deployment ¡and ¡Evalua0on ¡

Beyond ¡Prototypes: ¡Challenges ¡in ¡Deploying ¡ Ubiquitous ¡Systems ¡ • “The ¡authors ¡discuss ¡the ¡problems ¡in ¡crea>ng ¡the ¡next ¡ genera>on ¡of ¡widely ¡deployed ¡ubiquitous ¡compu>ng ¡systems ¡ and ¡ar>culate ¡current ¡technical ¡and ¡sociological ¡challenges ¡to ¡ inspire ¡researchers ¡in ¡the ¡field.” ¡ • Authors: ¡Nigel ¡Davis ¡and ¡Hans-­‑Werner ¡Gellersen ¡ • Published: ¡2002 ¡

Deploying ¡Sal ¡ • GPS ¡on ¡Sal’s ¡car ¡ • Detec>ng ¡availability ¡of ¡parking ¡spaces ¡ • Detec>on ¡of ¡new ¡shops ¡in ¡the ¡are ¡

Challenges ¡ • Technical ¡ – Knowing ¡Sal’s ¡ac>vity, ¡since ¡Sal ¡isn’t ¡telling ¡the ¡system ¡ – Parking ¡using ¡surveillance ¡cameras, ¡which ¡was ¡“quickly ¡determined” ¡ • Social ¡and ¡Legal ¡issues ¡ – Surveillance ¡info ¡ – Data ¡Protec>on ¡legisla>on. ¡In ¡Europe: ¡Data ¡Protec>on ¡Direc>ve, ¡and ¡ General ¡Data ¡Protec>on ¡Regula>on ¡ – System ¡geVng ¡detailed ¡informa>on ¡about ¡Sal’s ¡movements ¡

Challenges, ¡cont. ¡ • Economic ¡Concerns ¡ – Cost ¡of ¡providing ¡applica>on ¡is ¡distributed ¡among ¡numerous ¡ components, ¡such ¡as ¡the ¡surveillance ¡system ¡and ¡the ¡ communica>ons ¡provider ¡ – How ¡would ¡Sal ¡be ¡billed? ¡How ¡would ¡she ¡pay? ¡What ¡is ¡the ¡business ¡ model? ¡ ¡

Projects ¡ • Xerox ¡Parc’s ¡ubiquitous ¡com ¡puVng ¡experiment ¡ – Introduced ¡con>nuous ¡service ¡and ¡contextualized ¡use ¡ – Project ¡couldn’t ¡address ¡integra>on ¡issue ¡due ¡to ¡technical ¡challenges ¡ – The ¡benefits ¡weren’t ¡enough, ¡and ¡worksta>ons ¡were ¡used ¡instead ¡ • Ac>ve ¡Badge ¡ – Gave ¡people ¡images ¡of ¡an ¡Orwellian ¡work ¡environment ¡ – Telepor>ng ¡ – Problems ¡with ¡in-­‑building ¡loca>on ¡(Ac>ve ¡Bat) ¡

Projects, ¡cont. ¡ • Lancaster ¡Guide ¡System ¡ – User ¡interac>on ¡is ¡governed ¡by ¡the ¡capabili>es ¡of ¡the ¡infrastructure ¡ – This ¡becomes ¡complicated ¡when ¡the ¡availability ¡and ¡composi>on ¡of ¡ the ¡system ¡changes ¡ • Cooltown ¡Project ¡ – Place ¡the ¡user ¡in ¡the ¡control ¡loop ¡so ¡they ¡can ¡do ¡difficult ¡processing ¡ • Media ¡Cup ¡Experience ¡ – “Ubiquitous ¡compu>ng ¡is ¡fundamentally ¡characterized ¡by ¡the ¡ connec>on ¡of ¡things ¡in ¡the ¡world ¡with ¡computa>on” ¡

Research ¡Challenges ¡ • Component ¡interac>on ¡ • Adapta>on ¡and ¡Contextual ¡Sensi>vity ¡ • Appropriate ¡Management ¡mechanisms ¡and ¡policies ¡ • Component ¡associa>on ¡and ¡task ¡analysis ¡ • Viable ¡economic ¡models ¡and ¡suppor>ng ¡infrastructure ¡ • User ¡interface ¡ • Social, ¡legal, ¡and ¡technical ¡solu>on ¡to ¡privacy ¡and ¡security ¡ concerns ¡

Integra>on ¡is ¡not ¡the ¡only ¡issue ¡ • Paper ¡focuses ¡on ¡integra>on ¡as ¡the ¡main ¡issue ¡of ¡deployment ¡ • But ¡it ¡men>ons ¡interference ¡as ¡also ¡an ¡issue ¡ • Other ¡issues? ¡

Second ¡Paper ¡ ¡ ¡ • User ¡Study ¡Techniques ¡in ¡the ¡Design ¡and ¡Evalua>on ¡of ¡a ¡ Ubicomp ¡Environment ¡ • Authors: ¡Sunny ¡Consolvo, ¡Larry ¡Arnstein, ¡and ¡B. ¡Robert ¡Franza ¡

In ¡This ¡Paper ¡ • Presents ¡several ¡user ¡study ¡techniques ¡ • Labscape: ¡ubicomp ¡applica>on ¡for ¡a ¡cell ¡biology ¡laboratories ¡ • Discussion ¡of ¡applying ¡using ¡study ¡techniques ¡to ¡Labscape ¡ • Ini>al ¡Results ¡ • Applica>on ¡to ¡other ¡examples ¡

Context ¡Field ¡Research ¡(CFR) ¡ • "Technique ¡for ¡gathering ¡qualita>ve ¡data ¡by ¡observing ¡and ¡ interac>ng ¡with ¡users ¡as ¡they ¡go ¡about ¡their ¡normal ¡ac>vi>es ¡ • Advantages ¡ – Conducted ¡in ¡user's ¡environment ¡ – No ¡applica>on ¡needed ¡ • Disadvantages ¡ – Costs ¡ – Users ¡may ¡alter ¡their ¡behavior ¡

Intensive ¡Interviewing ¡ • "Technique ¡for ¡gathering ¡qualita>ve ¡data ¡by ¡asking ¡users ¡open-­‑ ended ¡ques>ons ¡about ¡their ¡work, ¡background, ¡and ¡ideas" ¡ • Advantages: ¡ – User ¡own ¡words ¡ – Evaluators ¡can ¡stablish ¡a ¡rapport ¡with ¡the ¡user ¡ – Evaluators ¡do ¡not ¡disturb ¡users' ¡environment ¡ • Disadvantages: ¡ – Users ¡fail ¡to ¡men>on ¡important ¡aspects ¡ – Cost ¡

Usability ¡Tes>ng ¡ • “Technique ¡for ¡gathering ¡empirical ¡data ¡by ¡observing ¡users ¡as ¡ they ¡perform ¡tasks ¡with ¡the ¡applica>on ¡that ¡is ¡being ¡ evaluated” ¡ • Advantages: ¡ – Inexpensive ¡ – Quick ¡results ¡ • Disadvantages: ¡ – Ar>ficial ¡ – Users ¡may ¡alter ¡their ¡behavior ¡

Lag ¡Sequen>al ¡Analysis ¡(LSA) ¡ • “Technique ¡for ¡gathering ¡quan>ta>ve ¡data ¡by ¡observing ¡users ¡ as ¡they ¡perform ¡their ¡normal ¡ac>vi>es” ¡ • Advantages: ¡ – Conducted ¡in ¡user ¡environment ¡while ¡they ¡perform ¡normal ¡ac>vi>es ¡ – Evaluators ¡can ¡generate ¡sta>s>cs ¡ • Disadvantages: ¡ – Cost ¡ – Users ¡may ¡alter ¡their ¡behavior ¡

¡ Biology ¡Research ¡Labs ¡are ¡messy ¡ ¡ ¡

Labscape ¡ • Labscape ¡two ¡main ¡objec>ves: ¡ – Make ¡cri>cal ¡informa>on ¡available ¡when ¡and ¡where ¡needed ¡ – Easily ¡capture ¡and ¡organize ¡data ¡generated ¡form ¡experiments ¡ • End ¡goal: ¡Reduce ¡researches ¡number ¡of ¡moves ¡and ¡integrate ¡ Labscape ¡with ¡the ¡environment ¡

User ¡Study ¡Technique ¡Applied ¡to ¡the ¡Design ¡ • Intensive ¡Interviewing ¡ – Learned ¡that ¡biologists ¡work ¡primarily ¡from ¡memory. ¡ ¡ • Context ¡Field ¡Research ¡ – Observed ¡that ¡biologists ¡wore ¡gloves ¡frequently. ¡Learned ¡from ¡this ¡ that ¡their ¡design ¡needed ¡to ¡be ¡usable ¡with ¡or ¡without ¡gloves ¡as ¡ removing ¡gloves ¡can ¡be ¡a ¡nuisance. ¡ – Though ¡learned ¡from ¡interviews ¡that ¡lab ¡coats ¡are ¡generally ¡worn, ¡ they ¡observed ¡that ¡usually ¡is ¡not ¡the ¡case. ¡Learned ¡from ¡this ¡that ¡ they ¡could ¡not ¡use ¡a ¡portable ¡compu>ng ¡device ¡that ¡could ¡be ¡kept ¡in ¡ the ¡lab ¡coat. ¡

Table ¡of ¡Observa>ons ¡

Conclusion ¡Drawn ¡from ¡User ¡Study ¡Technique ¡ • Beeping ¡would ¡be ¡the ¡most ¡effec>ve ¡no>fica>on ¡system ¡ – Biologists ¡expect ¡to ¡hear ¡the ¡machine ¡beep ¡ – If ¡the ¡machine ¡does ¡not ¡beep, ¡it ¡would ¡be ¡ignored ¡by ¡the ¡biologists ¡ • Reducing ¡movements ¡and ¡distrac>on ¡would ¡be ¡of ¡most ¡benefit ¡ to ¡ensure ¡success ¡ – Biologists ¡mul>task ¡ofen ¡ – They ¡need ¡to ¡be ¡able ¡to ¡move ¡from ¡task ¡to ¡task ¡easily ¡

Evalua>on ¡of ¡Labscape ¡ • LSA ¡ – 18 ¡hours ¡of ¡video ¡ – 10 ¡experiments ¡-­‑> ¡5 ¡normal ¡and ¡5 ¡with ¡Labscape ¡ – Variables ¡in ¡each ¡experiment ¡made ¡the ¡data ¡difficult ¡to ¡analyze ¡

Metrics ¡ • Average ¡Number ¡of ¡Movements ¡per ¡Tasks ¡ • Average ¡Number ¡of ¡Informa>on ¡Records ¡per ¡Task ¡ • Fluidity ¡

Results ¡ • Average ¡number ¡of ¡movement ¡per ¡task ¡ decreased ¡ • Biologist ¡voluntarily ¡recorded ¡ informa>on ¡more ¡frequently ¡ • It ¡seemed ¡as ¡if ¡Labscape ¡was ¡successful ¡ in ¡allowing ¡the ¡biologists ¡to ¡use ¡it ¡ fluidly ¡

Future ¡Work ¡ • Develop ¡sofware ¡to ¡automa>cally ¡to ¡the ¡video ¡coding ¡ • Na>onal ¡survey ¡sent ¡out ¡to ¡guide ¡UI ¡development ¡