ENERGY-PROPORTIONAL IMAGE SENSING FOR CONTINUOUS - PowerPoint PPT Presentation

ENERGY-­‑PROPORTIONAL ¡ ¡ IMAGE ¡ ¡SENSING ¡ ¡ FOR ¡ ¡ ¡ CONTINUOUS ¡ ¡MOBILE ¡ ¡VISION ¡ Robert LiKamW Robert LiKamWa a Bodhi Bodhi Priyantha Priyantha Matthai Matthai Philipose Philipose Victor ictor Bahl Bahl h#p://roblkw.com ¡ Lin Lin Zhong Zhong h#p://research.microso4.com ¡

¡ CONTINUOUS ¡ ¡ MOBILE ¡ CONTINUOUS ¡ ¡MOBILE ¡ ¡VISION ¡ ¡ ¡ VISION ¡ 2 ¡of ¡33 ¡

Object Memory Face Recognition Victor ictor ¡ CONTINUOUS ¡ ¡ MOBILE ¡ CONTINUOUS ¡ ¡MOBILE ¡ ¡VISION ¡ ¡ ¡ VISION ¡ Fine-grained Localization Gestures 3 ¡of ¡33 ¡

BATTERY ¡DEATH ¡ GoPro Hero 2-3 hours LooxCie 2-3 hours Google Glass 2-3 hours 4 ¡of ¡33 ¡

Image Sensor Goal < 25 mW Sensors ~ 5 mW Network Stack ~20 mW Processor ~150 mW ~150 mW 5 ¡of ¡33 ¡

Image Sensor Image Sensor Goal < 25 mW Reality > 250 mW 6 ¡of ¡33 ¡

KEY ¡IDEA: ¡ENERGY ¡α ¡QUALITY ¡ Power Power Frame rate Resolution

ENERGY ¡PROFILE ¡ OF ¡ AN ¡IMAGE ¡SENSOR ¡ Goal: < 25 mW 1 MP, 15 fps 1 MP, 5 fps 295 mW 250 mW 0.3 MP, 15 fps 0.3 MP, 5 fps 245 mW 232 mW > 230 mW Reality: > 230 mW 8 ¡of ¡38 ¡

ENERGY-­‑EFFICIENT ¡ IMAGE ¡SENSING ¡ Image Sensor Characterization Energy Reduction Techniques Energy vs. Vision Performance 9 ¡of ¡38 ¡

IMAGE ¡SENSOR ¡MEASUREMENT ¡ * Power Camera Camera Power Rail Power Rail Module Module Resistors Resistors VDD CLK Programmable Clock Programmable Clock (I2C) (I2C) * Profiled 5 state-of-the-art NI DAQ Device NI DAQ Device image sensors from 2 manufacturers 10 ¡of ¡38 ¡

IMAGE ¡SENSOR ¡MEASUREMENT ¡ Camera Camera Power Rail Power Rail Module Module Resistors Resistors Programmable Clock Programmable Clock (I2C) (I2C) NI DAQ Device NI DAQ Device 11 ¡of ¡38 ¡

IMAGE ¡SENSOR ¡WAVEFORMS ¡ Active Period Analog Idle Period Digital PLL 12 ¡of ¡38 ¡

IMAGE ¡SENSOR ¡WAVEFORMS ¡ Active Period Pixel Count divided by Clock Frequency Idle Period Frame Time minus Active Time E frame = P active T active + P idle T idle

IMAGE ¡SENSOR ¡PIXEL ¡COUNT ¡(N) ¡ Scaled Resolution Region-of-Interest (Pixel Skipping) (Windowing) Power Power Active Active 14 ¡of ¡38 ¡ Time Time

IMAGE ¡SENSOR ¡PIXEL ¡COUNT ¡(N) ¡ Video (30 FPS) Power vs. Resolution 300 Power (mW) 200 100 0 0 5 10 Npixels 6 x 10 Power Power Active Active 15 ¡of ¡38 ¡ Time Time

IMAGE ¡SENSOR ¡FRAME ¡RATE ¡(R) ¡ Ac@ve ¡ Ac@ve ¡ Power Power Active Frame ¡ Frame ¡ Active Active Active Active Active Active Readout ¡ Readout ¡ Time Time 1.0s Video (0.1 MP) Power vs. FPS 200 Power (mW) 150 100 50 0 0 10 20 30 FPS 16 ¡of ¡38 ¡

CHARACTERIZATION ¡CONCLUSION: ¡ NO ¡ ENERGY ¡PROPORTIONALITY ¡ Video (30 FPS) Video (0.1 MP) Power vs. Resolution Power vs. FPS 200 300 Power (mW) 150 Power (mW) 200 100 100 50 0 0 0 5 10 0 10 20 30 Npixels 6 FPS x 10 17 ¡of ¡38 ¡

ENERGY-­‑EFFICIENT ¡ IMAGE ¡SENSING ¡ Image Sensor Characterization Energy Reduction T Energy Reduction Techniques echniques Energy vs. Vision Performance 18 ¡of ¡38 ¡

TECHNIQUE ¡# 1 : ¡AGGRESSIVE ¡STANDBY ¡ Active Active Active Active 19 ¡of ¡38 ¡

CAVEAT ¡TO ¡ ¡ AGGRESSIVE ¡STANDBY ¡ Active Active Active Active This won’t work for long active periods, Active Active i.e., high resolution, high frame rate. Not enough exposure time 20 ¡of ¡38 ¡

¡TECHNIQUE ¡# 2 : ¡CLOCK ¡SCALING ¡(f) ¡ One pixel per clock period 21 ¡of ¡38 ¡

¡TECHNIQUE ¡# 2 : ¡CLOCK ¡SCALING ¡(f) ¡ Lower Active Time Higher Active Power Faster clock Higher Idle Power Higher Active Time Lower Active Power Slower clock Lower Idle Power 22 ¡of ¡38 ¡

TECHNIQUE ¡# 2 : ¡CLOCK ¡SCALING ¡(f) ¡ Low ¡Pixel ¡Count ¡ Active Low ¡Frame ¡Rate ¡ Slowed ¡Clock ¡ Active Optimal clock frequency depends on Pixel Count & Frame Rate 23 ¡of ¡38 ¡

AGGRESSIVE ¡STANDBY ¡+ ¡CLOCK ¡OPTIMIZATION ¡ Aggressive ¡ ¡ Active Readout Standby ¡ Active Sped-­‑up ¡ Read out Clock ¡ Optimal clock frequency depends on Pixel Count & Frame Rate Exposure Time 24 ¡of ¡38 ¡

ENERGY ¡α ¡QUALITY ¡ Aggressive Standby & Unoptimized Clock Optimization 30 30 30 30 350 350 350 350 Frame rate (FPS) Frame rate (FPS) Frame rate (FPS) 25 25 25 25 300 300 300 300 Power (mW) Power (mW) Power (mW) Power (mW) 250 250 20 20 20 20 250 250 200 200 200 200 15 15 15 15 150 150 150 150 10 10 10 10 100 100 100 100 5 5 5 5 50 50 50 50 0 0 0 0 0 0 0 0 1 1 2 2 3 3 4 4 5 5 1 1 2 2 3 3 4 4 5 5 Resolution (MP) Resolution (MP) Resolution (MP) Resolution (MP) 25 ¡of ¡38 ¡

Driver ¡ CPU 26 ¡of ¡37 ¡

27 ¡of ¡38 ¡

CURRENT ¡IMAGE ¡SENSOR ¡DESIGN ¡ Analog Signal Chain 70-85% Power Consumption Pixel Array Image Gain, ADC Column Output Processor 28 ¡of ¡38 ¡

HETEROGENEOUS ¡SENSOR ¡DESIGN ¡ Heterogeneous Analog Signal Chain High-Speed ADC Pixel Array Image Gain Mid-Speed ADC Column Output Processor Low-Speed ADC 29 ¡of ¡38 ¡

ENERGY ¡α ¡QUALITY ¡ Power vs. Framerate Power vs. Resolution (at 0.1 MP) (at 5 FPS) 250 300 Default 200 Default Power (mW) Power (mW) Clock select 200 Clock select 150 Standby 100 Standby 100 HW Fix 50 HW Fix 0 0 0 10 20 30 0 0.5 1 1.5 2 FPS Npixels 6 x 10 30 ¡of ¡36 ¡

ENERGY-­‑EFFICIENT ¡ IMAGE ¡SENSING ¡ Image Sensor Characterization Energy Reduction Techniques Energy vs. V Energy vs. Vision Performance ision Performance 31 ¡of ¡38 ¡

ENERGY ¡ vs. ¡ VISION: ¡VISION ¡TASK ¡ IMAGE ¡REGISTRATION ¡ 32 ¡of ¡36 ¡

ENERGY ¡ vs. ¡ VISION: ¡PERFORMANCE ¡ Estimated Power Estimated Power Image Registration Image Registration Power Reduction with Power Reduction with Reduction with hardware Reduction with hardware Success Success software assist software assist assist assist Full VGA Resolution 99.9% 51% 84% 0.1 MP 0.1 MP, 30 FPS , 30 FPS Frame Rate Reduction 95.7% 95.7% 95% 98% 0.1 MP 0.1 MP, 3 FPS , 3 FPS 30% Window 96.5% 63% 91% 0.06 MP 0.06 MP, 30 FPS , 30 FPS Subsampled by 2 91.8% 71% 94% 0.3 MP, 30 FPS 0.3 MP , 30 FPS Typical With aggr. standby With heterogeneous Average Power & optimal clock analog signal chain 185 mW 10 mW 3 mW

e l b a l a c S r e t u p m o C n o i s i V s m h t i r o g l A y g r e r n e E p o l e v e D l a n o t i r t o r o p p o p r P u S e g a m I g n i s n e S I n t e g r a t e d S y s t e m s D e s i g n 34 ¡of ¡36 ¡

Continuous Continuous Mobile V Mobile Vision ision

ENERGY-­‑PROPORTIONAL ¡IMAGE ¡ ¡SENSING ¡ ¡ FOR ¡ ¡ CONTINUOUS ¡ ¡MOBILE ¡ ¡VISION ¡ ¡ ¡ Image sensors are … and this is just the …but we can make them not energy-proportional… beginning. energy-proportional… 30 30 Aggressive Standby Frame rate (FPS) Frame rate (FPS) 20 20 CMV CMV Clock Optimization 10 10 Sensor Modifications 0 0 1 1 3 3 5 5 Resolution (MP) Resolution (MP) h#p://roblkw.com ¡ h#p://research.microso4.com ¡