Greedy Deep Disaggregating Sparse Coding Authors: Shikha Singh - PowerPoint PPT Presentation

Greedy Deep Disaggregating Sparse Coding Authors: ¡Shikha ¡Singh ¡and ¡Angshul ¡Majumdar ¡ Presenter: ¡Manoj ¡Gula8 ¡

Sparse coding - Training 2 = ≡ − + λ X D Z min X D Z Z dishwasher 1 1 dishwasher 1 1 1 1 F D Z 1 1 2 = ≡ − + λ X D Z min X D Z Z washer 2 2 washer 2 2 2 1 F D Z 2 2 2 = ≡ − + λ X D Z min X D Z Z desktop 3 3 desktop 3 3 3 1 F D Z 3 3

Sparse Coding - Disaggregation + ¡ + ¡ + + = X X X X dishwasher washer desktop + + = D Z D Z D Z X 1 1 2 2 3 3 Dic8onaries ¡are ¡already ¡learnt ¡in ¡the ¡training ¡phase ¡ 2 ⎡ ⎤ ⎡ ⎤ Z Z 1 1 ⎢ ⎥ ⎢ ⎥ [ ] − + λ min X D | D | D Z Z ⎢ ⎥ ⎢ ⎥ 1 2 3 2 2 Z Z , , Z 1 2 3 ⎢ ⎥ ⎢ ⎥ Z Z ⎣ ⎦ ⎣ ⎦ 3 3 F 1 ˆ ˆ ˆ = = = X D Z X ; D Z ; X D Z dishwasher 1 1 washer 2 2 desktop 2 2

Dictionary Learning Interpretation – Given ¡a ¡dataset ¡X, ¡can ¡we ¡learn ¡a ¡basis ¡D ¡so ¡that ¡ the ¡data ¡can ¡be ¡represented ¡in ¡terms ¡of ¡sparse ¡ features ¡Z? ¡ x ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡D ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡z = X DZ 2 − + λ min X DZ Z F 1 DZ = …

Neural Network Representation Representation Target Input Target Input – This ¡can ¡be ¡segregated ¡into ¡two ¡parts ¡ – Input ¡to ¡representa8on ¡ – Representa8on ¡to ¡target ¡ – The ¡second ¡part ¡is ¡trivial! ¡ – Learning ¡the ¡first ¡part ¡– ¡Representa8on ¡Learning ¡

RL – Restricted Boltzmann Machine Network ¡D Representation ¡(Z) Boltzmann Function Input ¡(X) T e − = Z DX p D Z ( , ) – Maximizes ¡similarity ¡between ¡the ¡projec8on ¡of ¡the ¡ input ¡(DX) ¡and ¡the ¡representa8on ¡(Z). ¡ – AQer ¡training ¡RBM, ¡for ¡representa8on, ¡the ¡Targets ¡ are ¡aSached ¡to ¡form ¡the ¡neural ¡net. ¡ ¡

RL – Autoencoder Representation Euclidean Mismatch Output=Input Input 2 W , W ' X − W ' φ ( WX ) min F Encoder Decoder – Encodes ¡the ¡input ¡to ¡the ¡representa8on ¡and ¡then ¡ decodes ¡the ¡representa8on ¡to ¡form ¡the ¡input ¡/ ¡ output ¡such ¡that ¡the ¡cost ¡func8on ¡is ¡minimized. ¡ ¡ – AQer ¡training, ¡decoder ¡is ¡deleted ¡and ¡the ¡Targets ¡ aSached ¡to ¡form ¡the ¡neural ¡net. ¡ ¡

Stacked Autoencoders T W W 1 1 T W W Hidden ¡Layer ¡2 Hidden ¡Layer ¡3 2 2 Output Input – To ¡learn ¡deeper ¡architectures, ¡autoencoders ¡are ¡ nested ¡inside ¡each ¡other. ¡ ¡ 2 X − g ! f ( X ) argmin F W 1 ... W L − 1 , W ' 1 ... W ' L Difficult ¡beast ¡to ¡ ( ) ( ) where g = W 1 ' φ W 2 '... W L ' f ( X ) op0mize ¡ ¡ ( ) ( ) and f = φ W L − 1 φ W L − 2 ... φ ( W 1 X )

Greedy Learning T W W T W W 1 1 1 T 1 W W Input Virtual ¡Output Hidden ¡Layer ¡2 Hidden ¡Layer ¡3 2 2 Hidden ¡Layer ¡2 Output Input Input W T W Hidden ¡Layer ¡3 2 Virtual ¡Output Hidden ¡Layer ¡1 2 Virtual ¡Input Hidden ¡Layer ¡1/3 – First ¡the ¡outermost ¡layer ¡is ¡learnt. ¡ ¡ – The ¡features ¡from ¡the ¡outermost ¡layer ¡now ¡act ¡as ¡ inputs ¡for ¡the ¡nested ¡layer. ¡ – This ¡con8nues ¡8ll ¡the ¡deepest ¡layer. ¡ ¡ – Deep ¡/ ¡boSleneck ¡layer ¡is ¡used. ¡ ¡

Deep Belief Network – A ¡DBN ¡is ¡a ¡cascade ¡of ¡ RBMs. ¡ – Can ¡be ¡used ¡for ¡feature ¡ extrac8on. ¡ – Can ¡be ¡converted ¡to ¡a ¡ deep ¡neural ¡network ¡ with ¡targets ¡at ¡the ¡ output. ¡ G. ¡E. ¡Hinton, ¡S. ¡Osindero ¡and ¡Y. ¡W. ¡Teh, ¡“A ¡fast ¡learning ¡algorithm ¡for ¡deep ¡ belief ¡nets”, ¡Neural ¡Computa8on, ¡Vol. ¡18, ¡pp. ¡1527-­‑1554, ¡2006. ¡

Sparse Coding Alternate Look x ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡D ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡z x ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡D ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡z = … . . . – The ¡basis ¡can ¡be ¡interpreted ¡as ¡connec8ons ¡ between ¡the ¡feature ¡/ ¡represen8on ¡to ¡the ¡input. ¡ – It ¡is ¡‘synthesis ¡learning’ ¡since ¡the ¡dic8onary ¡is ¡ synthesizing ¡the ¡input ¡from ¡the ¡features. ¡ ¡ ¡

Deep Sparse Coding – Layers ¡can ¡be ¡appended ¡one ¡aQer ¡the ¡other ¡to ¡ form ¡deeper ¡architecture. ¡ ¡ – The ¡features ¡from ¡the ¡deepest ¡layer ¡will ¡be ¡used ¡ for ¡the ¡task. ¡ – Features ¡from ¡shallower ¡layer ¡acts ¡as ¡input ¡for ¡ deeper ¡layer. ¡

Formulation – This ¡is ¡the ¡exact ¡formula8on ¡ 2 − + λ min Z X D D ... D Z Z 1 2 N F 1 D D , ,..., D , 1 2 N – Solving ¡this ¡is ¡as ¡complex ¡as ¡the ¡stacked ¡ autoencoder. ¡ – One ¡can ¡use ¡Bregman ¡Splikng ¡… ¡ ¡ 2 2 − + µ − − min X DY Y D Y B 1 1 1 1 2 2 1 F F D D , ,..., D , , Z Y Y , ,..., Y 1 2 N 1 2 N 2 + + µ − − + λ ... Y D Z B Z − − − N 1 N 1 N N 1 F 1 – But ¡needs ¡tuning ¡of ¡too ¡many ¡hyper-­‑parameters ¡

Greedy Learning ¡ ¡ 2 = − + λ Substitute Y D ... D Z in min X D D ... D Z Z 1 2 N 1 2 N F 1 D D , ,..., D , Z 1 2 N 2 − Greedily learn:min X DY 1 1 F D Y , 1 1 = = Then substitute Y D ... D Z in Y D ... D Z 2 3 N 1 2 N 2 − Greedily learn:min Y D Y 1 2 2 F D Y , 2 2 Continue ... Till penultimate leve l = In the last level you have Y D Z − N 1 N 2 − + λ Solve:min Y D Z Z − N 1 N F 1 D , Z N Doesn't introduce any extra hyper-parameter

Current Work – Greedy ¡learning ¡offers ¡plug ¡and ¡play ¡op8ons. ¡ – One ¡can ¡use ¡any ¡type ¡of ¡dic8onary ¡learning ¡in ¡any ¡ layer. ¡ ¡ – This ¡work ¡uses ¡Kolter’s ¡formula8on ¡in ¡first ¡layer. ¡ – Following ¡layers ¡use ¡simple ¡sparse ¡coding. ¡ ¡ – Tested ¡on ¡Pecan ¡Street ¡

Results No. ¡of ¡ Sparse ¡ 1 st ¡Layer ¡ 2 nd ¡Layer ¡ 3rd ¡Layer ¡ Houses ¡ Coding ¡ (DDSC) ¡ (SC) ¡ (SC) ¡ (SC) ¡ ¡ 72 ¡ 63.13 ¡ 67.25 ¡ 69.34 ¡ 69.45 ¡ *Disaggrega8ng ¡Discrimina8ve ¡Sparse ¡Coding ¡

Conclusion – New ¡framework ¡for ¡representa8on ¡learning. ¡ ¡ – NILM ¡– ¡serves ¡as ¡a ¡nice ¡applica8on. ¡ – For ¡NILM, ¡deep ¡sparse ¡coding ¡will ¡be ¡coupled ¡with ¡ our ¡associated ¡work ¡on ¡robust ¡learning. ¡