Algorithms for Lipschitz Learning on Graphs Sushant Sachdeva Yale - PowerPoint PPT Presentation

Algorithms for Lipschitz Learning on Graphs Sushant Sachdeva Yale Institute of Network Sciences Rasmus Anup Dan Kyng Rao Spielman

Learning on Graphs

Learning on Graphs

Learning on Graphs

Learning on Graphs

Learning on Graphs

Learning on Graphs Methods ¡for ¡smooth ¡(Lipschitz) ¡learning ¡ ¡

Learning on Graphs Methods ¡for ¡smooth ¡(Lipschitz) ¡learning ¡ ¡ ¡Theore8cally ¡interes8ng ¡ ¡

Learning on Graphs Methods ¡for ¡smooth ¡(Lipschitz) ¡learning ¡ ¡ ¡Theore8cally ¡interes8ng ¡ ¡ ¡Quickly ¡computable ¡ ¡

Learning on Graphs Methods ¡for ¡smooth ¡(Lipschitz) ¡learning ¡ ¡ ¡Theore8cally ¡interes8ng ¡ ¡ ¡Quickly ¡computable ¡ ¡ ¡Noise ¡tolerant ¡ ¡

Learning on Graphs Methods ¡for ¡smooth ¡(Lipschitz) ¡learning ¡ ¡ ¡Theore8cally ¡interes8ng ¡ ¡ ¡Quickly ¡computable ¡ ¡ ¡Noise ¡tolerant ¡ ¡ ¡Performs ¡well ¡on ¡real-­‑world ¡data ¡

T HE HE B B ASICS ASICS

Preliminaries Graph ¡G(V,E, ¡) ¡ ¡ ¡ ¡ ¡ ¡

Preliminaries Graph ¡G(V,E, ¡) ¡ ¡ ¡ ¡ ¡ ¡ ¡

Preliminaries Graph ¡G(V,E, ¡) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡edge ¡lengths ¡

Preliminaries Graph ¡G(V,E, ¡) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡edge ¡lengths ¡ ¡ ¡ ¡Undirected ¡(for ¡now) ¡

Preliminaries ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡terminals ¡ ¡ ¡ ¡

Preliminaries 1 ¡ ¡ ¡ 0.3 ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡terminals ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡labels ¡ ¡ -­‑1 ¡

Preliminaries 1 ¡ ¡ ¡ 0.3 ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡terminals ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡labels ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡A ¡(par8al) ¡assignment ¡ -­‑1 ¡

Preliminaries 1 ¡ Guess ¡labels ¡ ¡ ¡ ¡ ¡ ¡at ¡all ¡ver8ces: ¡ 0.3 ¡ -­‑1 ¡

Preliminaries 1 ¡ Guess ¡labels ¡ ¡ ¡ ¡ ¡ ¡at ¡all ¡ver8ces: ¡ 0.3 ¡ ¡ 1. ¡ ¡ ¡ ¡agrees ¡with ¡ ¡ ¡ ¡ ¡ ¡on ¡terminals ¡ ( ¡ ¡ ¡ ¡extends ¡ ¡ ¡ ¡) ¡ -­‑1 ¡

Preliminaries 1 ¡ Guess ¡labels ¡ ¡ ¡ ¡ ¡ ¡at ¡all ¡ver8ces: ¡ 0.3 ¡ ¡ 1. ¡ ¡ ¡ ¡agrees ¡with ¡ ¡ ¡ ¡ ¡ ¡on ¡terminals ¡ ( ¡ ¡ ¡ ¡extends ¡ ¡ ¡ ¡) ¡ 2. ¡ ¡ ¡ ¡is ¡ smooth ¡ across ¡edges ¡ -­‑1 ¡

Preliminaries Goal: ¡ Compute ¡a ¡ smooth ¡ extension ¡of ¡ ¡x ¡ ¡ ¡ ¡ ¡ 1 ¡ 0.3 ¡ -­‑1 ¡

Preliminaries Goal: ¡ Compute ¡a ¡ smooth ¡ extension ¡of ¡ ¡x ¡ ¡ ¡ ¡ ¡ 1 ¡ What ¡is ¡ smooth ? ¡ 0.3 ¡ -­‑1 ¡

Preliminaries Goal: ¡ Compute ¡a ¡ smooth ¡ extension ¡of ¡ ¡x ¡ ¡ ¡ ¡ ¡ 1 ¡ What ¡is ¡ smooth ? ¡ 0.3 ¡ ¡ For ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ Define ¡ gradient ¡ -­‑1 ¡

Two Smooth Extensions Inf-­‑minimizer ¡

Two Smooth Extensions Inf-­‑minimizer ¡ Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡

Two Smooth Extensions Inf-­‑minimizer ¡ Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡ ¡ ¡and ¡minimizes ¡

Two Smooth Extensions Inf-­‑minimizer ¡ Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡ ¡ ¡and ¡minimizes ¡ Lipschitz ¡constant ¡

Two Smooth Extensions Inf-­‑minimizer ¡ Not ¡necessarily ¡unique! ¡ 1 ¡ 1 ¡ Best ¡Lipschitz ¡constant ¡= ¡1 ¡ -­‑1 ¡ -­‑1 ¡

Two Smooth Extensions Inf-­‑minimizer ¡ Not ¡necessarily ¡unique! ¡ 1 ¡ 1 ¡ 0 ¡ 0 ¡ Best ¡Lipschitz ¡constant ¡= ¡1 ¡ -­‑1 ¡ -­‑1 ¡

Two Smooth Extensions Inf-­‑minimizer ¡ Not ¡necessarily ¡unique! ¡ 1 ¡ 1 ¡ 0 ¡ 1 ¡ 0 ¡ 0 ¡ 0 ¡ 0 ¡ Best ¡Lipschitz ¡constant ¡= ¡1 ¡ -­‑1 ¡ -­‑1 ¡

Two Smooth Extensions

Two Smooth Extensions Amongst ¡all ¡ ¡ ¡ ¡ ¡ ¡that ¡extend ¡ ¡ ¡ minimize ¡the ¡largest ¡gradient ¡

Two Smooth Extensions Amongst ¡all ¡ ¡ ¡ ¡ ¡ ¡that ¡extend ¡ ¡ ¡ minimize ¡the ¡largest ¡gradient ¡ ¡ then, ¡minimize ¡the ¡second ¡largest ¡gradient ¡

Two Smooth Extensions Amongst ¡all ¡ ¡ ¡ ¡ ¡ ¡that ¡extend ¡ ¡ ¡ minimize ¡the ¡largest ¡gradient ¡ ¡ then, ¡minimize ¡the ¡second ¡largest ¡gradient ¡ ¡ then, ¡the ¡third ¡largest ¡gradient, ¡etc. ¡

Two Smooth Extensions Lex-­‑minimizer ¡ Amongst ¡all ¡ ¡ ¡ ¡ ¡ ¡that ¡extend ¡ ¡ ¡ minimize ¡the ¡largest ¡gradient ¡ ¡ then, ¡minimize ¡the ¡second ¡largest ¡gradient ¡ ¡ then, ¡the ¡third ¡largest ¡gradient, ¡etc. ¡

Two Smooth Extensions Lex-­‑minimizer ¡ Amongst ¡all ¡ ¡ ¡ ¡ ¡ ¡that ¡extend ¡ ¡ ¡ minimize ¡the ¡largest ¡gradient ¡ ¡ then, ¡minimize ¡the ¡second ¡largest ¡gradient ¡ ¡ then, ¡the ¡third ¡largest ¡gradient, ¡etc. ¡ Lex-­‑minimizer ¡is ¡unique! ¡

Two Smooth Extensions Lex-­‑minimizer ¡ 1 ¡ Amongst ¡all ¡ ¡ ¡ ¡ ¡ ¡that ¡extend ¡ ¡ ¡ 1/3 ¡ minimize ¡the ¡largest ¡gradient ¡ ¡ then, ¡minimize ¡the ¡second ¡largest ¡gradient ¡ 0 ¡ ¡ then, ¡the ¡third ¡largest ¡gradient, ¡etc. ¡ -­‑1/3 ¡ Lex-­‑minimizer ¡is ¡unique! ¡ -­‑1 ¡

Other Smooth Extensions

Other Smooth Extensions 2-­‑minimizer ¡ [Zhu ¡ et ¡al. ¡ ‘03] ¡ ¡

Other Smooth Extensions 2-­‑minimizer ¡ Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡ [Zhu ¡ et ¡al. ¡ ‘03] ¡ ¡ ¡ ¡and ¡minimizes ¡ ¡ ¡ ¡ ¡

Other Smooth Extensions 2-­‑minimizer ¡ Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡ [Zhu ¡ et ¡al. ¡ ‘03] ¡ ¡ ¡ ¡and ¡minimizes ¡ ¡ ¡ ¡ ¡ ¡ ¡minimizes ¡ ¡

Other Smooth Extensions 2-­‑minimizer ¡ Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡ [Zhu ¡ et ¡al. ¡ ‘03] ¡ ¡ ¡ ¡and ¡minimizes ¡ ¡ ¡ ¡ ¡ ¡ ¡minimizes ¡ ¡ Fast ¡algorithms ¡via ¡ Laplacian ¡Solvers ¡

Concern with 2-Minimizer [Nadler ¡ et ¡al. ¡ ‘09] ¡Large ¡geometric ¡graphs ¡with ¡few ¡terminals ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡2-­‑minimizer ¡collapses ¡to ¡a ¡constant ¡ ¡ ¡

Concern with 2-Minimizer [Nadler ¡ et ¡al. ¡ ‘09] ¡Large ¡geometric ¡graphs ¡with ¡few ¡terminals ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡2-­‑minimizer ¡collapses ¡to ¡a ¡constant ¡ ¡ Simple ¡example : ¡2-­‑D ¡grids, ¡with ¡2 ¡terminals ¡ ¡ ¡ 1 ¡ -­‑1 ¡

2-Minimizer vs Lex

2-Minimizer vs Lex

2-Minimizer vs Lex

Other Smooth Extensions

Other Smooth Extensions p-­‑minimizer ¡ [Alamgir ¡ et ¡al . ¡‘11] ¡

Other Smooth Extensions p-­‑minimizer ¡ Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡ ¡ ¡ ¡ ¡ ¡ ¡ [Alamgir ¡ et ¡al . ¡‘11] ¡ ¡ ¡and ¡minimizes ¡ ¡ ¡ ¡ ¡ ¡minimizes ¡ ¡

Other Smooth Extensions p-­‑minimizer ¡ Find ¡ ¡ ¡ ¡ ¡ ¡that ¡extends ¡ ¡ ¡ ¡ ¡ ¡ ¡ [Alamgir ¡ et ¡al . ¡‘11] ¡ ¡ ¡and ¡minimizes ¡ ¡ ¡ ¡ ¡ ¡minimizes ¡ ¡ Don’t ¡flacen ¡out ¡for ¡large ¡p. ¡Very ¡costly ¡to ¡compute. ¡

p-Minimizer and Lex ¡= ¡p-­‑minimizer ¡amongst ¡extensions ¡of ¡

p-Minimizer and Lex ¡= ¡p-­‑minimizer ¡amongst ¡extensions ¡of ¡ Follows ¡from ¡[Egger ¡ et ¡al. ¡ ’90] ¡

More Connections A ¡local ¡defini8on ¡for ¡lex ¡ ¡Analogous ¡to ¡2-­‑minimizers ¡ ¡ Studied ¡in ¡Func8onal ¡Analysis ¡/ ¡PDE ¡theory ¡ ¡ [Jensen ¡‘93, ¡Crandall ¡ et ¡al. ¡ ‘01, ¡Barles ¡ et ¡al . ¡’01, ¡Aronsson ¡ et ¡al . ¡‘04, ¡ Milman ¡‘99, ¡Peres ¡ et ¡al . ¡‘11, ¡Naor ¡ et ¡al . ¡‘10, ¡Sheffield ¡ et ¡al . ¡‘10, ¡etc] ¡

How should we compute it? A LG HMS LGORITHM

Some De fi nitions x ¡ y ¡

Some De fi nitions x ¡ Given ¡2 ¡terminals ¡x,y, ¡define ¡ y ¡