Origins Figure from G.W. Hart, Nonintrusive Applica1on Load - PowerPoint PPT Presentation

NILM ¡Beyond ¡Event ¡Detec1on ¡ J. ¡Zico ¡Kolter ¡ MIT ¡CSAIL ¡ ¡ NILM ¡Workshop ¡-­‑ ¡5/7/12 ¡ In ¡collabora1on ¡with: ¡Tommi ¡Jaakkola ¡

Origins ¡ Figure ¡from ¡G.W. ¡Hart, ¡“Nonintrusive ¡Applica1on ¡Load ¡Monitoring.” ¡ ¡ Proceedings ¡of ¡the ¡IEEE, ¡Vol ¡80 ¡(12), ¡1992. ¡ ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Origins ¡ Figure ¡from ¡G.W. ¡Hart, ¡ “Nonintrusive ¡Applica1on ¡Load ¡ Monitoring.” ¡ ¡Proceedings ¡of ¡the ¡ IEEE, ¡Vol ¡80 ¡(12), ¡1992. ¡ ¡ A. ¡Bouloutas, ¡G.W. ¡Hart, ¡M. ¡Schwartz. ¡ “Two ¡extensions ¡of ¡the ¡Viterbi ¡ Algorithm.” ¡ ¡IEEE ¡Transac1ons ¡on ¡ Informa1on ¡Theory, ¡Vol ¡37 ¡(3), ¡1991 ¡ G.W. ¡Hart, ¡A. ¡Bouloutas. ¡“Correc1ng ¡ Dependent ¡Errors ¡in ¡Sequences ¡ Generated ¡by ¡Finite-­‑State ¡ Processes.” ¡ ¡IEEE ¡Transac1ons ¡on ¡ Informa1on ¡Theory, ¡Vol ¡39 ¡(4), ¡1991 ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Typical ¡Approach ¡ 1. ¡ Specify ¡model ¡ • ¡For ¡each ¡device: ¡ ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Typical ¡Approach ¡ 1. ¡ Specify ¡model ¡ Turned ¡on ¡dryer ¡ • ¡For ¡each ¡device: ¡ ¡ 2. ¡ Learning ¡ (supervised) ¡ • ¡ Turn ¡each ¡device ¡ on/off, ¡record ¡ power ¡delta ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Typical ¡Approach ¡ 1. ¡ Specify ¡model ¡ • ¡For ¡each ¡device: ¡ ¡ Dryer? ¡Fridge? ¡ Coffee ¡Maker? ¡ Noise? ¡ 2. ¡ Learning ¡ (supervised) ¡ • ¡ Turn ¡each ¡device ¡ on/off, ¡record ¡ power ¡delta ¡ 3. ¡ Inference ¡ • ¡For ¡each ¡change ¡in ¡ power, ¡find ¡nearest ¡ device ¡match ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Typical ¡Approach ¡ 1. ¡ Specify ¡model ¡ Fundamental ¡Problem: ¡Looking ¡at ¡energy ¡ • ¡For ¡each ¡device: ¡ ¡ Dryer? ¡Fridge? ¡ “events” ¡only ¡in ¡isola9on ¡ Coffee ¡Maker? ¡ Noise? ¡ 2. ¡ Learning ¡ (supervised) ¡ • ¡ Turn ¡each ¡device ¡ My ¡Work: ¡A ¡“global” ¡view ¡of ¡home ¡energy ¡ on/off, ¡record ¡ power ¡delta ¡ 1. More ¡complex ¡models ¡that ¡look ¡at ¡the ¡en1re ¡ power ¡signal ¡ jointly ¡ 3. ¡ Inference ¡ 2. Learn ¡devices ¡models ¡in ¡ unsupervised ¡ ¡fashion ¡ • ¡For ¡each ¡change ¡in ¡ power, ¡find ¡nearest ¡ Key ¡challenge: ¡More ¡complex ¡learning/inference ¡ device ¡match ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Problem ¡Formula1on ¡ Find: ¡ power ¡consump1ons ¡ for ¡each ¡device ¡ Given: ¡ whole-­‑home ¡power ¡ consump1on ¡over ¡1me ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Work ¡on ¡Disaggrega1on ¡ • Ini1al ¡work ¡using ¡discrimina1ve ¡sparse ¡ coding, ¡hourly ¡power ¡data ¡ ¡ [Kolter, ¡Batra ¡and ¡Ng, ¡NIPS ¡2010] ¡ • Data ¡collec1on, ¡compression, ¡and ¡a ¡ public ¡dataset ¡ ¡ [Kolter ¡and ¡Johnson, ¡KDDSUST ¡2011] ¡ • Factorial ¡HMM ¡modeling ¡and ¡efficient ¡ approximate ¡inference ¡ ¡ [Kolter ¡and ¡Jaakkola, ¡AISTATS ¡2012] ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Devices ¡as ¡Hidden ¡Markov ¡Models ¡ Power ¡ Time ¡ 1. ¡ Specify ¡model ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Devices ¡as ¡Hidden ¡Markov ¡Models ¡ Power ¡ Time ¡ 1. ¡ Specify ¡model ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Devices ¡as ¡Hidden ¡Markov ¡Models ¡ Power ¡ Time ¡ off ¡ off ¡ off ¡ on ¡ on ¡ on ¡ 1. ¡ Specify ¡model ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Devices ¡as ¡Hidden ¡Markov ¡Models ¡ Power ¡ Time ¡ off ¡ off ¡ off ¡ trans ¡ on ¡ on ¡ 1. ¡ Specify ¡model ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Factorial ¡HMMs ¡ + ¡ = ¡ [Ghahramani ¡and ¡Jordan, ¡1997] ¡ 1. ¡ Specify ¡model ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Learning ¡Device ¡Models ¡ Intui9on : ¡we ¡do ¡ some1mes ¡observe ¡ devices ¡events ¡in ¡ isola1on ¡ Extract ¡all ¡poten1al ¡ Compute ¡similari1es ¡ device ¡snippets ¡from ¡ between ¡snippets ¡and ¡ signal ¡(power ¡coming ¡ use ¡spectral ¡clustering ¡ 2. ¡ Learning ¡ on ¡and ¡going ¡off) ¡ ¡ (unsupervised) ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Learning ¡with ¡Spectral ¡Clustering ¡ 2. ¡ Learning ¡ (unsupervised) ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Inference ¡in ¡Factorial ¡HMMs ¡ My ¡work : ¡ ¡ Exact ¡inference ¡is ¡intractable ¡ A ¡new ¡approach ¡to ¡ ¡ ¡ approximate ¡inference ¡in ¡ (9 ¡devices, ¡ ¡~10 ¡states ¡each ¡→ ¡ 10 9 ¡total ¡states) ¡ Factorial ¡HMMs ¡based ¡ upon ¡ convex ¡op2miza2on ¡ ¡ 3. ¡ Inference ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Addi1on ¡#1: ¡Signal ¡Differences ¡ • Rather ¡that ¡look ¡only ¡at ¡absolute ¡signal, ¡look ¡ at ¡ differences ¡between ¡successive ¡levels ¡ Would ¡expect ¡this ¡be ¡useful ¡ when ¡devices ¡change ¡state ¡ one ¡at ¡a ¡1me ¡ 3. ¡ Inference ¡ 1. ¡ Specify ¡model ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Addi1on ¡#2: ¡Robust ¡HMM ¡ • Not ¡going ¡to ¡have ¡a ¡model ¡for ¡every ¡device ¡in ¡ the ¡home, ¡allow ¡ unassigned ¡power ¡ Total ¡Varia8on ¡penalty, ¡allows ¡for ¡ arbitrary ¡unknown ¡power, ¡but ¡favors ¡ piecewise-­‑constant ¡signals ¡ 3. ¡ Inference ¡ 1. ¡ Specify ¡model ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Inference ¡as ¡Op1miza1on ¡ • Most ¡likely ¡assignment ¡(MAP ¡inference) ¡can ¡ now ¡be ¡cast ¡as ¡mixed-­‑integer ¡QP ¡ Addi9ve ¡FHMM ¡ Difference ¡FHMM ¡ End ¡result : ¡convex ¡ approximate ¡inference ¡ Drop ¡integer ¡constraint ¡ Enforce ¡one-­‑at-­‑a-­‑1me ¡ ¡ in ¡posterior ¡ method, ¡can ¡be ¡solved ¡ QP ¡ MILP ¡ quickly ¡for ¡hundreds ¡of ¡ Drop ¡integer ¡constraint ¡ thousands ¡of ¡variables ¡ LP ¡ Solve ¡Jointly ¡ 3. ¡ Inference ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Summary ¡ Factorial ¡HMM ¡+ ¡2 ¡new ¡addi1ons: ¡ 1. ¡ Specify ¡model ¡ difference ¡signal ¡and ¡robust ¡component ¡ New ¡learning ¡approach ¡based ¡upon ¡ 2. ¡ Learning ¡ (unsupervised) ¡ spectral ¡clustering ¡of ¡device ¡snippets ¡ New ¡inference ¡procedure ¡based ¡on ¡ 3. ¡ Inference ¡ convex ¡op1miza1on, ¡relaxa1ons ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Performance ¡ Total ¡Power ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Performance ¡ True ¡Breakdown ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Performance ¡ Our ¡Method ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Performance ¡ True ¡Breakdown ¡ Our ¡Method ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Performance ¡ True ¡Breakdown ¡ Event ¡Based ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡

Performance ¡ True ¡Breakdown ¡ Structured ¡Mean ¡Field ¡ J. ¡Zico ¡Kolter ¡| ¡NILM ¡Beyond ¡Event ¡Detec1on ¡