An Open Affective Platform Nik Thompson Terry Koziniec Tanya - PowerPoint PPT Presentation

An Open Affective Platform Nik Thompson Terry Koziniec Tanya McGill Murdoch University, 1 Perth, Western Australia

Affec%ve ¡Compu%ng ¡ “compu'ng ¡that ¡relates ¡to, ¡arises ¡from, ¡or ¡ deliberately ¡influences ¡emo'on ¡or ¡other ¡ affec've ¡phenomena .” ¡ ¡ (Picard ¡1997) ¡ 2 ¡

A ¡model ¡for ¡affec%ve ¡applica%ons ¡ SoCware ¡ 3 rd ¡Party ¡ Extensions ¡ SoCware ¡ (Op'onal) ¡ Event ¡Mapper ¡ ¡ (Op'onal) ¡ Affec%ve ¡ PlaHorm ¡ Rule ¡Set ¡ 3 ¡

Hardware ¡and ¡soCware ¡required ¡to ¡ acquire ¡the ¡affec%ve ¡data ¡and ¡to ¡convert ¡ this ¡into ¡a ¡usable ¡format. ¡The ¡hardware ¡ comprises ¡the ¡physical ¡interface ¡between ¡ the ¡user ¡and ¡the ¡computer, ¡including ¡any ¡ sensors ¡and ¡associated ¡components ¡ Affec%ve ¡ needed ¡to ¡acquire ¡a ¡signal. ¡The ¡soCware ¡ PlaHorm ¡ comprises ¡of ¡the ¡rou%nes ¡used ¡to ¡ transform ¡this ¡acquired ¡signal ¡into ¡a ¡ meaningful ¡result ¡in ¡the ¡context ¡of ¡an ¡ affec%ve ¡state. ¡The ¡resul%ng ¡informa%on ¡ is ¡then ¡communicated ¡to ¡any ¡affec%ve ¡ applica%on ¡components ¡which ¡require ¡it. ¡ ¡ 4 ¡

Describing ¡affec%ve ¡state ¡ ¡ In ¡terms ¡of ¡component ¡dimensions ¡ (Russell ¡circumplex ¡model) ¡ Posi%ve ¡ Posi%ve ¡ Ac%vated ¡ Deac%vated ¡ + ¡ Valence ¡ -­‑ ¡ Nega%ve ¡ Nega%ve ¡ ¡ Ac%vated ¡ Deac%vated ¡ + ¡ Ac%va%on ¡ 5 ¡ -­‑ ¡

Describing ¡affec%ve ¡state ¡ ¡ 6 ¡

• As ¡a ¡basic ¡requirement, ¡the ¡ability ¡to ¡infer ¡ dimensions ¡of ¡ac%va%on/valence ¡should ¡provide ¡ the ¡ability ¡to ¡infer ¡the ¡underlying ¡affec%ve ¡state ¡ • Ideal ¡characteris%cs ¡of ¡sensors ¡include ¡ – Low ¡cost ¡ – Simple ¡(where ¡possible!) ¡ – Unobtrusive ¡ • Commercially ¡available ¡hardware ¡does ¡possess ¡ some ¡of ¡these ¡characteris%cs ¡ 7 ¡

Sensors ¡ • Electrodermal ¡ac%vity ¡(EDA) ¡is ¡an ¡established ¡indicator ¡of ¡ emo%onal ¡arousal. ¡ ¡ • EDA ¡measurement ¡simply ¡requires ¡skin ¡contact, ¡with ¡li\le ¡ complexity ¡in ¡the ¡way ¡of ¡hardware ¡or ¡soCware. ¡ ¡ ¡ • Heart ¡rate ¡(HR) ¡based ¡measures ¡may ¡be ¡used ¡as ¡an ¡indicator ¡ of ¡emo%onal ¡valence. ¡ ¡ • Yannakakis , ¡et ¡al. ¡iden%fied ¡frequency ¡domain ¡analysis ¡of ¡heart ¡rate ¡ variability ¡(HRV) ¡as ¡a ¡more ¡suitable ¡approach ¡that ¡may ¡provide ¡ more ¡informa%on ¡than ¡the ¡basic ¡HR ¡related ¡measures. ¡This ¡form ¡of ¡ analysis ¡makes ¡it ¡possible ¡to ¡observe ¡specific ¡frequency ¡bands ¡ which ¡correspond ¡to ¡certain ¡underlying ¡processes; ¡for ¡example, ¡to ¡ discern ¡between ¡physiological ¡changes ¡due ¡to ¡physical ¡exer%on ¡as ¡ opposed ¡to ¡affec%ve ¡state. ¡ 8 ¡

EDA ¡Sensor ¡hardware ¡ EDA ¡sensing ¡requires ¡a ¡steady ¡current ¡to ¡be ¡ passed ¡between ¡the ¡two ¡electrodes, ¡and ¡any ¡ fluctua%ons ¡to ¡be ¡amplified ¡to ¡produce ¡a ¡clear ¡ output ¡waveform. ¡ ¡ Simple, ¡Low ¡cost, ¡Unobtrusive ¡ 9 ¡

EDA ¡Sensor ¡soCware ¡ ¡ func%onal ¡components ¡ 10 ¡

HR ¡Sensor ¡hardware ¡ • The ¡photoplethysmograph ¡(PPG) ¡produces ¡a ¡ sinusoidal ¡waveform ¡output ¡which ¡ corresponds ¡to ¡the ¡light ¡absorbance ¡of ¡blood ¡ flowing ¡beneath ¡the ¡sensor. ¡ ¡ 11 ¡

HR ¡Sensor ¡soCware ¡ ¡ func%onal ¡components ¡ 12 ¡

HRV ¡Frequency ¡domain ¡analysis ¡ 13 ¡

Outputs ¡ ¡ EDA ¡and ¡HRV ¡sensors ¡provide ¡a ¡normalized ¡ numeric ¡result ¡which ¡may ¡be ¡correlated ¡with ¡ changes ¡in ¡underlying ¡affec%ve ¡state. ¡ ¡ This ¡may ¡be ¡provided ¡to ¡other ¡components ¡or ¡ other ¡applica%on ¡soCware ¡via ¡disk ¡files, ¡named ¡ pipes, ¡shared ¡memory ¡and ¡so ¡on. ¡ 14 ¡

Evalua%on ¡ ACer ¡thorough ¡pilo%ng, ¡the ¡plaHorm ¡has ¡been ¡ used ¡in ¡a ¡number ¡of ¡studies ¡with ¡good ¡results. ¡ ¡ A ¡brief ¡overview ¡of ¡some ¡of ¡the ¡studies ¡is ¡ presented ¡in ¡the ¡following ¡slides. ¡ 15 ¡

Affec%ve ¡ac%va%on ¡test ¡ Subjects ¡(n=38) ¡viewed ¡a ¡set ¡of ¡evoca%ve ¡image ¡ s%muli, ¡drawn ¡from ¡the ¡Interna%onal ¡Affec%ve ¡ Pictures ¡System. ¡ ¡ ¡ It ¡was ¡demonstrated ¡that ¡the ¡output ¡from ¡the ¡ EDA ¡sensing ¡func%ons ¡could ¡be ¡used ¡to ¡ successfully ¡detect ¡the ¡presenta%on ¡of ¡evoca%ve ¡ images ¡with ¡strong ¡sta%s%cal ¡significance ¡ (p=0.01) ¡ ¡ 16 ¡

Affec%ve ¡valence ¡test ¡ Subjects ¡(n=38) ¡were ¡placed ¡in ¡a ¡nega%ve ¡affect ¡ inducing ¡situa%on ¡during ¡a ¡mathema%cs ¡test. ¡ Results ¡demonstrated ¡that ¡the ¡output ¡from ¡the ¡ HRV ¡soCware ¡was ¡able ¡to ¡discern ¡between ¡the ¡ neutral ¡and ¡nega%ve ¡valence ¡situa%ons ¡with ¡ sta%s%cal ¡significance ¡(p<0.01). ¡ Further ¡evalua%on ¡revealed ¡that ¡it ¡was ¡also ¡ possible ¡to ¡detect ¡between ¡different ¡levels ¡of ¡the ¡ same ¡measure ¡(n=18) ¡with ¡strong ¡sta%s%cal ¡ significance. ¡ 17 ¡

Affec%ve ¡tutor ¡evalua%on ¡ An ¡affect ¡sensi%ve ¡e-­‑learning ¡soCware ¡was ¡ developed, ¡in ¡which ¡the ¡on ¡screen ¡animated ¡ tutor ¡u%lized ¡both ¡affec%ve ¡arousal ¡and ¡valence ¡ cues ¡to ¡guide ¡it’s ¡course ¡of ¡ac%on. ¡ Results ¡demonstrated ¡that ¡par%cipants ¡(n=40) ¡ reported ¡a ¡sta%s%cally ¡significantly ¡higher ¡level ¡ of ¡perceived ¡learning ¡when ¡interac%ng ¡with ¡the ¡ affec%ve ¡tutor ¡than ¡a ¡control ¡group ¡(p<0.01) ¡ 18 ¡

Future ¡Work ¡ 1. Sensors ¡are ¡sensi%ve ¡to ¡movement ¡ar%facts ¡– ¡ development ¡of ¡physical ¡interface ¡and ¡ improvements ¡to ¡soCware ¡may ¡be ¡beneficial. ¡ 2. Evalua%on ¡of ¡alterna%ve ¡data ¡acquisi%on ¡ plaHorms ¡– ¡In ¡this ¡implementa%on ¡a ¡Na%onal ¡ Instruments ¡DAQ ¡and ¡LabVIEW ¡environment ¡ was ¡used, ¡other ¡alterna%ves ¡are ¡being ¡explored. ¡ 3. The ¡plaHorm ¡may ¡be ¡adapted ¡to ¡novel ¡ environments ¡including ¡body ¡area ¡networking ¡ for ¡HSE. ¡ 19 ¡

Thank ¡You ¡ ¡ ¡ Ques%ons ¡ 20 ¡