The Case for Offloading Con1nuous ON High-Datarate - PowerPoint PPT Presentation

The ¡Case ¡for ¡Offloading ¡Con1nuous ¡ ON ¡ High-­‑Datarate ¡Percep1on ¡to ¡the ¡Cloud ¡ Phone ¡ Seungyeop ¡Han ¡and ¡Ma<hai ¡Philipose ¡ University ¡of ¡Washington ¡and ¡MicrosoA ¡Research ¡ ¡

Who? ¡ What? ¡ Where? ¡ 2013. ¡5. ¡13 ¡ HotOS ¡XIV ¡ 2 ¡

It’s ¡Worth ¡It! ¡ Augment ¡cogni1on ¡ Change ¡behaviors ¡ Aid ¡in ¡complex ¡tasks ¡ 2013. ¡5. ¡13 ¡ HotOS ¡XIV ¡ 3 ¡

The ¡Performance ¡Gap ¡ • Resource ¡use ¡of ¡today’s ¡best ¡systems: ¡ Speech ¡ Face ¡ Object ¡ Loca9on ¡ Model ¡Size ¡ 0.5 ¡– ¡600 ¡GB ¡ 1M/person ¡ 3-­‑6 ¡GB ¡ 20M/floor ¡ Compute ¡ 16kHz ¡@ ¡160% ¡ 30fps ¡@ ¡8-­‑core ¡ 30fps ¡@ ¡Nvidia ¡ 30fps ¡@ ¡2-­‑core ¡ Xeon ¡E5640 ¡ ¡ SandyBridge ¡ 580 ¡GPU ¡ 2.4 ¡GHz ¡‘09 ¡ Intel ¡CPU ¡ 1000x ¡CPU, ¡100x ¡memory ¡ rela9ve ¡to ¡today’s ¡phone ¡ 2013. ¡5. ¡13 ¡ HotOS ¡XIV ¡ 4 ¡

Offloading ¡Does ¡Not ¡Bridge ¡the ¡Gap ¡ Con%nuous ¡vision ¡requires: ¡ • High ¡availability ¡ • High ¡core ¡network ¡capacity ¡ • High ¡compute ¡capacity ¡ • A ¡good ¡privacy ¡story ¡ 2013. ¡5. ¡13 ¡ HotOS ¡XIV ¡ 5 ¡

Bridging ¡the ¡gap ¡ Processors ¡geJng ¡more ¡efficient ¡ Most ¡bytes ¡are ¡irrelevant ¡ 2097152 ¡ 100 ¡ Drop ¡frames ¡if ¡ Frac9on ¡to ¡process ¡ None ¡ 100% ¡ 262144 ¡ 10 ¡ No ¡voice ¡ 6% ¡ WaLs ¡ MIPS ¡ 32768 ¡ High ¡ 2.5% ¡ accelera1on ¡ 1 ¡ 4096 ¡ Low ¡light ¡ 1.5% ¡ 512 ¡ 0.1 ¡ 2008 ¡ 2011 ¡ 2015 ¡ Intel ¡Notebook ¡MIPS ¡ Atom ¡MIPS ¡ Intel ¡Wa<s ¡ Atom ¡Wa<s ¡ Gaining ¡~50x ¡efficiency ¡ Gaining ¡~50x ¡efficiency ¡ 2013. ¡5. ¡13 ¡ HotOS ¡XIV ¡ 6 ¡

• Vision ¡algorithms ¡are ¡reaching ¡maturity ¡ • Applica1ons ¡could ¡add ¡huge ¡value ¡ • Vision ¡on ¡the ¡phone ¡likely ¡necessary ¡+ ¡feasible ¡ ¡ What ¡does ¡the ¡OS ¡do? ¡ 2013. ¡5. ¡13 ¡ HotOS ¡XIV ¡ 7 ¡

The ¡OS ¡Mul1plexes ¡Across ¡Apps ¡… ¡ … ¡while ¡providing ¡efficient ¡access ¡to: ¡ • Heterogeneous ¡resources ¡ • Cached ¡cloud-­‑scale ¡models ¡ • Sensor ¡ga1ng ¡services ¡ • Privacy ¡primi1ves ¡ GPU ¡ Accelerometer ¡ CPU ¡ Light ¡sensor ¡ GPS ¡ CPU ¡ DSP ¡ CPU ¡ ASIC ¡ Model ¡Cache ¡ X ¡ 2013. ¡5. ¡13 ¡ HotOS ¡XIV ¡ 8 ¡

• Vision ¡algorithms ¡are ¡reaching ¡maturity ¡ • Applica1ons ¡could ¡add ¡huge ¡value ¡ • Vision ¡on ¡the ¡phone ¡likely ¡necessary ¡+ ¡feasible ¡ • OS ¡provides ¡efficient, ¡private ¡cross-­‑app ¡access: ¡ – processors, ¡models, ¡low-­‑power ¡sensors ¡ THANKS! ¡ 2013. ¡5. ¡13 ¡ HotOS ¡XIV ¡ 9 ¡