A Fast Greedy Algorithm for Generalized Column Subset - PowerPoint PPT Presentation

NIPS'13 ¡Workshop ¡on ¡ 1 ¡ Greedy ¡Algorithms, ¡ ¡ Frank-­‑Wolfe ¡and ¡Friends ¡ A ¡Fast ¡Greedy ¡Algorithm ¡for ¡ Generalized ¡Column ¡Subset ¡Selec:on ¡ Ali ¡Ghodsi ¡ aghodsib@uwaterloo.ca ¡ ¡ ¡ ¡ ¡ Joint ¡work ¡with ¡ Ahmed ¡Farahat ¡ ¡ Mohamed ¡Kamel ¡ ¡ December ¡10, ¡2013 ¡

2 ¡ Representa:ve ¡Selec:on ¡ • Given : ¡Data ¡instances ¡(images, ¡documents, ¡etc. ¡) ¡or ¡features ¡ (words, ¡pixels, ¡etc.) ¡ • Objec:ve : ¡Select ¡a ¡few ¡data ¡instances ¡or ¡features ¡that ¡best ¡ represent ¡the ¡content ¡of ¡the ¡data ¡ column clustering data analysis selection greedy Column ¡Subset ¡SelecEon ¡(CSS) ¡ [Frieze-­‑98, ¡ ¡Drineas-­‑06, ¡Boutsidis-­‑09, ¡11] ¡ ¡

3 ¡ Column ¡Subset ¡Selec:on ¡(CSS) ¡ Problem : ¡Select ¡a ¡subset ¡of ¡columns ¡ ¡ ¡ ¡ ¡ ¡from ¡ ¡ ¡ ¡ ¡ ¡such ¡that ¡ ¡ A where ¡ ¡ ¡ reconstruc)on ¡ ¡ error ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ projec)on ¡ matrix ¡ ¡ ¡ is ¡the ¡soluEon ¡of ¡

4 ¡ Generalized ¡CSS ¡ Target ¡ Source ¡ Data ¡matrix ¡ A B ¡ m ¡x ¡ r ¡ m ¡x ¡ n ¡ ¡ Select ¡a ¡few ¡columns ¡from ¡a ¡source ¡matrix ¡A ¡that ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ best ¡approximate ¡the ¡span ¡of ¡a ¡target ¡matrix ¡B ¡ ¡

5 ¡ Generalized ¡CSS ¡ (Cont.) ¡ Problem : ¡Select ¡a ¡subset ¡of ¡columns ¡ ¡ ¡ ¡ ¡ ¡from ¡ ¡ ¡ ¡ ¡ ¡such ¡that ¡ ¡ A B where ¡ ¡ ¡ reconstruc)on ¡ ¡ error ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ projec)on ¡ matrix ¡ ¡ ¡ is ¡the ¡soluEon ¡of ¡

6 ¡ Generalized ¡CSS ¡ (Cont.) ¡ Problem : ¡Select ¡a ¡subset ¡of ¡columns ¡ ¡ ¡ ¡ ¡ ¡from ¡ ¡ ¡ ¡ ¡ ¡such ¡that ¡ ¡ A B where ¡ ¡ ¡ reconstruc)on ¡ ¡ error ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ projec)on ¡ matrix ¡ ¡ ¡ OpEmal ¡soluEon: ¡

7 ¡ Greedy ¡Selec:on ¡Criterion ¡ Problem: ¡ At ¡iteraEon ¡ t , ¡find ¡column ¡ ¡ p ¡such ¡that, ¡ new ¡reconstruc)on ¡ ¡ error ¡a2er ¡adding ¡ i Complexity: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡per ¡iteraEon ¡

8 ¡ Recursive ¡Selec:on ¡Criterion ¡ Theorem ¡1 : ¡Given ¡a ¡set ¡of ¡columns ¡ ¡ ¡ ¡ ¡ ¡. ¡For ¡any ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ where ¡ ¡ residual ¡ ¡ decrease ¡in ¡ of ¡B ¡ reconstruc)on ¡error ¡ ¡ residual ¡ ¡ ¡ of ¡A ¡ projec)on ¡ matrix ¡

9 ¡ Greedy ¡Selec:on ¡Criterion ¡ Problem: ¡ At ¡iteraEon ¡ t , ¡find ¡column ¡ ¡ p ¡such ¡that, ¡ • Using ¡Theorem ¡1: ¡ constant ¡ • ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡can ¡be ¡simplified ¡to ¡ ¡

10 ¡ Memory-­‑Efficient ¡Selec:on ¡ Theorem ¡3 . ¡ ¡Update ¡formulas ¡for ¡ f and ¡ g Calculate ¡once ¡ ¡ per ¡iteraEon ¡ and ¡store ¡

11 ¡ Algorithm ¡-­‑ ¡Greedy ¡Generalized ¡CSS ¡

12 ¡ Generalized ¡CSS ¡Problems ¡ Method ¡ Source ¡ Target ¡ Generalized ¡CSS ¡ A B Column ¡Subset ¡SelecEon ¡ Data ¡matrix ¡ ¡ Data ¡matrix ¡ ¡ B = A (Frieze-­‑98, ¡Drineas-­‑06, ¡Boutsidis-­‑09, ¡11, ¡ A Farahat-­‑11,12,13a) ¡ Distributed ¡CSS ¡ ¡ Data ¡matrix ¡ Random ¡subspace ¡ (Farahat-­‑13b) ¡ A ¡ ¡ B = A Ω SVD-­‑based ¡CSS ¡ Data ¡matrix ¡ SVD-­‑based ¡subspace ¡ ¡ A (Civril-­‑Magdon-­‑Ismail-­‑08, ¡12) ¡ B = U k Σ k Sparse ¡ApproximaEon ¡ DicEonary ¡ Target ¡vector ¡ ¡ (Tropp-­‑04, ¡Das-­‑08, ¡Lee-­‑06, ¡Cevher-­‑11, ¡ A = D B = y Das-­‑11) ¡ Simultaneous ¡Sparse ¡ DicEonary ¡ ¡ Target ¡vectors ¡ ¡ ApproximaEon ¡ (Tropp-­‑06) ¡ A = D B = [ y 1 ,…y r ]

13 ¡ Thank ¡you! ¡

14 ¡ References ¡ Frieze ¡ et ¡ al., ¡ 1998. ¡ Fast ¡ Monte-­‑Carlo ¡ algorithms ¡ for ¡ finding ¡ low-­‑rank ¡ • approximaEons. ¡FOCS ¡ Drineas ¡et ¡al., ¡2006. ¡ Subspace ¡sampling ¡and ¡relaEve-­‑error ¡matrix ¡approximaEon: ¡ • Column-­‑based ¡methods. ¡APPROX ¡ Boutsidis ¡ et ¡ al., ¡ 2009. ¡ An ¡ improved ¡ approximaEon ¡ algorithm ¡ for ¡ the ¡ column ¡ • subset ¡selecEon ¡problem. ¡SODA ¡ ¡ Boutsidis ¡et ¡al., ¡2011. ¡Near ¡opEmal ¡column-­‑based ¡matrix ¡reconstrucEon. ¡FOCS ¡ • Farahat ¡2012 . ¡Greedy ¡representaEve ¡selecEon ¡for ¡unsupervised ¡data ¡analysis. ¡PhD ¡ • thesis, ¡U ¡of ¡Waterloo ¡ Farahat ¡ et ¡ al., ¡ 2011 . ¡ An ¡ efficient ¡ greedy ¡ method ¡ for ¡ unsupervised ¡ feature ¡ • selecEon. ¡ICDM ¡ Farahat ¡et ¡al., ¡2013a . ¡Efficient ¡greedy ¡feature ¡selecEon ¡for ¡unsupervised ¡learning. ¡ • KAIS ¡ Farahat ¡et ¡al., ¡2013b. ¡Distributed ¡column ¡subset ¡selecEon ¡on ¡MapReduce. ¡ICDM ¡ • ¡

15 ¡ References ¡ (Cont.) ¡ Çivril ¡ & ¡ Magdon-­‑Ismail, ¡ 2008 . ¡ DeterminisEc ¡ sparse ¡ column-­‑based ¡ matrix ¡ • reconstrucEon ¡via ¡greedy ¡approximaEon ¡of ¡SVD. ¡ISAAC ¡ Çivril ¡& ¡Magdon-­‑Ismail, ¡2012 . ¡Column ¡subset ¡selecEon ¡via ¡sparse ¡approximaEon ¡ • of ¡SVD. ¡TCS ¡ Tropp, ¡2004 . ¡Greed ¡is ¡good: ¡Algorithmic ¡results ¡for ¡sparse ¡approximaEon. ¡T-­‑IT. ¡ ¡ • Das ¡& ¡Kempe, ¡2008 . ¡Algorithms ¡for ¡subset ¡selecEon ¡in ¡linear ¡regression. ¡STOC ¡ ¡ • Lee ¡et ¡al., ¡2006. ¡ Efficient ¡sparse ¡coding ¡algorithms. ¡NIPS ¡ • Cevher ¡& ¡Krause , ¡ 2011. ¡Greedy ¡dicEonary ¡selecEon ¡for ¡sparse ¡representaEon. ¡J-­‑ • STSP ¡ Das ¡& ¡Kempe., ¡2011. ¡ Submodular ¡meets ¡spectral: ¡Greedy ¡algorithms ¡for ¡subset ¡ • selecEon, ¡sparse ¡approximaEon ¡and ¡dicEonary ¡selecEon. ¡ICML ¡ Tropp ¡ et ¡ al., ¡ 2006. ¡ Algorithms ¡ for ¡ simultaneous ¡ sparse ¡ approximaEon. ¡ Part ¡ I: ¡ • Greedy ¡pursuit. ¡SP ¡

16 ¡ Proof ¡of ¡ ¡ ProjecEon ¡ ¡ ¡ matrix ¡ ¡ ¡

17 ¡ Proof ¡of ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ (Cont.) ¡ Use ¡block-­‑wise ¡inversion ¡formula ¡of ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ is ¡the ¡Schur ¡complement ¡of ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡in ¡ ¡