Machine Learning for Ac/vity Recogni/on Jay Urbain, - PowerPoint PPT Presentation

Machine ¡Learning ¡ ¡ for ¡ ¡ Ac/vity ¡Recogni/on ¡ Jay ¡Urbain, ¡PhD ¡ Sean ¡MacAveny, ¡Jan ¡Mikes ¡ EECS ¡ Milwaukee ¡School ¡of ¡Engineering ¡

Machine ¡Learning ¡ • Algorithms ¡that ¡learn ¡models ¡from ¡data. ¡ • These ¡models ¡can ¡be ¡used ¡to ¡beFer ¡understand ¡the ¡data, ¡or ¡ make ¡ predic'ons . ¡ ¡

Ac/vity ¡Recogni/on: ¡Interac/ve ¡ Machine ¡Learning ¡ • Recognize ¡the ¡ac/ons ¡or ¡goals ¡of ¡agents/people ¡as ¡they ¡ interact ¡with ¡their ¡environment. ¡ – Sports, ¡gaming, ¡health, ¡industrial ¡ • Our ¡focus: ¡Ac/vity ¡Recogni/on ¡using ¡features ¡derived ¡from ¡ smartphone ¡3-­‑axis ¡accelerometer. ¡

Physical ¡Therapy ¡ Sean ¡MacAveny ¡ • Machine ¡learning ¡for ¡iden/fying ¡ physical ¡therapy ¡range-­‑of-­‑mo/on ¡ exercises ¡for ¡post-­‑opera/ve ¡rotator ¡ cuff ¡surgery ¡pa/ents. ¡

Arm ¡Care ¡Exercise ¡Recogni1on ¡and ¡ Tracking ¡ ¡ Noel ¡Mrowiec ¡ • Recogni/on ¡and ¡tracking ¡of ¡ proper ¡arm ¡care ¡to ¡facilitate ¡ recovery ¡of ¡Tommy ¡John ¡ (baseball ¡pitcher) ¡ligament ¡ surgery ¡with ¡smartphone ¡ accelerometer. ¡

Physical ¡Ac/vity ¡Recogni/on ¡ Jan ¡Mikes ¡ • Using ¡3-­‑axis ¡smartphone ¡ accelerometer ¡for ¡ac/vity ¡recogni/on. ¡ • WISDM ¡data ¡set. ¡~80%+ ¡accuracy. ¡ • Best ¡features ¡to ¡learn ¡consisted ¡of ¡ overlapping ¡windows ¡using ¡several ¡ sta/s/cal ¡distribu/on ¡measures. ¡

Accelerometer ¡ Accelerometer: ¡ • Measures ¡accelera/on ¡force ¡along ¡the ¡ x , ¡ y , ¡and ¡ z -­‑axes ¡(including ¡gravity) ¡in ¡m/s 2 . ¡ • Forces ¡may ¡be ¡sta/c, ¡like ¡constant ¡force ¡ of ¡gravity, ¡or ¡dynamic ¡-­‑ ¡caused ¡by ¡moving ¡ or ¡vibra/ng ¡the ¡accelerometer. ¡ Phones ¡have ¡many ¡sensors ¡

Smartphone ¡Coordinates ¡ Demo ¡Compass ¡x2 ¡

Machine ¡Learning ¡Model ¡ ¡ for ¡Ac/vity ¡Tracking ¡ • Don’t ¡want ¡to ¡write ¡a ¡separate ¡program ¡for ¡each ¡ac/vity ¡we ¡ want ¡to ¡recognize. ¡ • Use ¡algorithm ¡to ¡build ¡a ¡model/classifier/func/on ¡from ¡ sample ¡data ¡to ¡make ¡predic/ons ¡on ¡future ¡samples ¡of ¡data. ¡ • Processing ¡pipeline: ¡

Can ¡expand ¡to ¡many ¡sensors ¡

Training ¡Data ¡Acquisi/on ¡ How ¡to ¡build ¡a ¡model? ¡

Data ¡Analysis ¡ Accelerometer ¡data ¡for ¡different ¡ac/vi/es ¡

Comparing ¡Accelera/on ¡averages ¡ down ¡over ¡/me ¡ • Walking ¡(leb) ¡and ¡running ¡(right) ¡

Features ¡ • x, ¡y, ¡z ¡accelera/on ¡ • Over ¡1-­‑second, ¡and ¡3 ¡second ¡windows ¡ – Mean, ¡standard ¡devia/on ¡ – Correla/on ¡of ¡x, ¡y, ¡z ¡ • Frequency ¡domain ¡analysis ¡(FFT) ¡ – Most ¡“frequent” ¡frequencies ¡in ¡the ¡data ¡

Feature ¡Selec/on ¡& ¡Evalua/on ¡

Building ¡a ¡simple ¡linear ¡model ¡ (func/on) ¡from ¡features ¡ • Main ¡idea: ¡minimize ¡error ¡between ¡what ¡your ¡model ¡predicts ¡ and ¡the ¡labels ¡in ¡your ¡training ¡error. ¡

Can ¡build ¡many ¡kinds ¡of ¡models: ¡ Decision ¡Tree ¡

Predic/ve ¡Modeling ¡

Model ¡ Evalua/on ¡

Predic/ve ¡Modeling: ¡simpler ¡model ¡

Generate ¡and ¡deploy ¡final ¡model ¡

MSOE ¡Ac/vity ¡Tracking ¡ Demo ¡MSOE ¡Ac/vity ¡Tracking ¡

How ¡is ¡the ¡data ¡distributed? ¡

How ¡to ¡features ¡in ¡the ¡data ¡correlate ¡with ¡what ¡ we ¡are ¡trying ¡to ¡predict? ¡With ¡each ¡other? ¡

Orienta/on ¡sensing ¡ pitch, ¡yaw, ¡roll ¡ Demo ¡Orienta/on ¡Sensor ¡