Community Discovery in Dynamic Networks via non-nega6ve - PowerPoint PPT Presentation

Community ¡Discovery ¡in ¡Dynamic ¡ Networks ¡via ¡non-­‑nega6ve ¡matrix ¡ factoriza6on ¡ Niloufar ¡Afsariardchi ¡ Supervisor: ¡Mark ¡Coates ¡ McGill ¡University ¡ March ¡15,2011 ¡ 1 ¡

Outline ¡ § Introduc6on ¡ § Related ¡Work ¡ § Goals ¡ § Non-­‑nega6ve ¡matrix ¡factoriza6on ¡ § Automa6c ¡relevance ¡determina6on ¡ § Dynamic ¡model ¡ § Experimental ¡results ¡ § Summary ¡and ¡future ¡work ¡ 2 ¡

Communi6es ¡Everywhere… ¡ ¡ Why ¡Dynamic ¡Clustering? ¡ ¡ ¡ § Recommenda6on ¡Systems ¡ ¡ § Detec6ng ¡anomalies ¡ § Studying ¡dynamic ¡features ¡ of ¡social ¡and ¡biological ¡ ¡ networks ¡ ¡ Social ¡Networks: ¡Facebook ¡ 3 ¡

Goals ¡ § SoQ ¡clustering ¡ § Addressing ¡the ¡problem ¡of ¡unknown ¡number ¡of ¡ clusters ¡over ¡6me ¡ § Handling ¡changing ¡number ¡of ¡clusters ¡over ¡6me ¡ § Temporal ¡smoothness ¡ 4 ¡

Learning ¡the ¡parts ¡of ¡objects ¡by ¡non-­‑ nega6ve ¡matrix ¡factoriza6on ¡[Lee1999] ¡ K V ( WH ) W H ∑ ≈ = ij ij ik kj ¡ k 1 = § V: ¡image ¡database ¡(nxm, ¡m ¡facial ¡image ¡each ¡has ¡n ¡pixel ¡) ¡ § W: ¡Basis ¡images ¡(nxK) ¡ § H: ¡ ¡Encoding ¡(Kxm) ¡ * ¡Illustra6on ¡from ¡Daniel ¡D. ¡Lee ¡and ¡H. ¡Sebas6an ¡Seung ¡(2001). ¡"Algorithms ¡for ¡Non-­‑nega6ve ¡Matrix ¡Factoriza6on". ¡ Advances ¡in ¡Neural ¡Informa6on ¡Processing ¡Systems ¡13: ¡Proceedings ¡of ¡the ¡2000 ¡Conference. ¡MIT ¡Press. ¡pp. ¡556–562 ¡ 5 ¡

NMF ¡for ¡Clustering ¡in ¡Network ¡ ¡ K V ( WH ) W H ∑ ≈ = ij ij ik kj ¡ k 1 = § V ¡ ¡: ¡Matrix ¡of ¡observa6on ¡ w § ¡ ¡ ¡ ¡ ¡: ¡Probability ¡of ¡par6cipa6on ¡of ¡node ¡i ¡in ¡k-­‑th ¡community ¡ ik § ¡ ¡ ¡ ¡ ¡: ¡Probability ¡of ¡individual ¡i ¡to ¡be ¡airacted ¡by ¡k-­‑th ¡community ¡ h ki ¡ ¡ ¡ ¡ p ( i , j ) ¡ ≈ ¡ ¡p ( i | c 1 ) p ( j | c 1 ) ¡ ¡+ p ( i | c 2 ) p ( j | c 2 ) ¡ c 2 ¡ c 1 ¡ H ¡ ≈ ¡ p ( i,j ) ¡ V ¡ W ¡ A ¡ B ¡

NMF ¡inference ¡ ¡ § MAP ¡es6ma6on ¡ § Maximizing ¡ ¡likelihood ¡ ¡func6on ¡with ¡ ¡ ¡Poisson ¡distribu6on ¡ ¡= ¡ ¡minimizing ¡KL-­‑divergence ¡ ¡ * * W , H max p ( W , H | V ) = ¡ [ WH ] ¡ ¡coordinate ¡decent ¡ ij ¡ H V ⎡ ⎤ ⎛ ⎞ ⎛ ⎞ Poiss ¡ T H T . W ← ⎜ ⎟ ⎜ ⎟ ⎢ ⎥ W WH ⎝ ⎠ ⎝ ⎠ ⎣ ⎦ V W V ⎡ ⎤ ⎛ ⎞ ⎛ ⎞ ij T W . H ← ⎜ ⎟ ⎜ ⎟ ⎢ ⎥ T H WH ⎝ ⎠ ⎝ ⎠ ⎣ ⎦ 7 ¡

Goals ¡ ü So< ¡clustering ¡ § Unknown ¡number ¡of ¡clusters ¡over ¡6me ¡ § Changing ¡number ¡of ¡clusters ¡over ¡6me ¡ § Temporal ¡smoothness ¡ ¡ 8 ¡

Automa6c ¡relevance ¡determina6on[Tan2009] ¡ § Consider ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡s ¡as ¡prior ¡of ¡each ¡community ¡ β k a , b and ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡as ¡hyperparameters ¡ ¡ ¡ § Bayesian ¡NMF ¡Model ¡ § Log ¡priors ¡can ¡be ¡wriien ¡as: ¡ 9 ¡

Automa6c ¡relevance ¡determina6on[Tan2009] ¡ ¡ § We ¡can ¡rewrite ¡the ¡likelihood ¡func6on, ¡ § The ¡objec6ve ¡func6on ¡we ¡want ¡to ¡minimize, ¡ ¡ 10 ¡

Goals ¡ ü So< ¡clustering ¡ ü Unknown ¡number ¡of ¡clusters ¡over ¡Gme ¡ ü Changing ¡number ¡of ¡clusters ¡over ¡Gme ¡ § Temporal ¡smoothness ¡ ¡ 11 ¡

Dynamic ¡Model ¡ a b a b a b β β β t 0 t 1 + Half Normal Half Normal Half Normal H H H 0 Dir t t 1 ... + W W W 0 t t 1 + Poiss Poiss Poiss V V V 0 t t 1 + 12 ¡

Parameter ¡inference ¡ § Parameter ¡inference ¡using ¡mul6plica6ve ¡update ¡rules ¡ § Point ¡es6ma6on ¡to ¡find ¡the ¡maximum ¡of ¡likelihood ¡ func6on ¡ log L(W , H ) log P(W , H , | V ) = β t t t t t t log P(W | W ) log P(W | W ) + + t t - 1 t t - 1 = 1 − α § Replacing ¡ ¡ ¡ ¡ ¡ ¡. ¡We ¡have, ¡ ¡ µ α ¡ ¡ 13 ¡

Experiment ¡1 ¡ ¡ § 128 ¡nodes ¡ § 4 ¡clusters ¡of ¡32 ¡nodes ¡ § Average ¡degree ¡=16 ¡ § Zout= ¡2,3,4 ¡ § Alpha=0.9 ¡ ¡ ¡ § Dynamic ¡part: ¡3 ¡nodes ¡from ¡each ¡cluster ¡leave ¡their ¡original ¡cluster ¡ and ¡join ¡other ¡cluster ¡ 14 ¡

Experiment ¡2 ¡ ¡ Detected ¡number ¡of ¡clusters ¡vs. ¡real ¡ number ¡of ¡clusters ¡ ¡ § 300 ¡nodes ¡ 7 ¡ § Average ¡degree=16 ¡ 6 ¡ § Alpha=0.9 ¡ 5 ¡ 4 ¡ Detected ¡ § Changing ¡number ¡of ¡ ¡ number ¡of ¡ 3 ¡ ¡clusters ¡ clusters ¡ ¡ 2 ¡ 1 ¡ 0 ¡ ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 15 ¡

Summary ¡and ¡Future ¡work ¡ § Used ¡non-­‑nega6ve ¡matrix ¡factoriza6on ¡for ¡soQ ¡ clustering ¡ § Introduced ¡automa6c ¡relevance ¡determina6on ¡ § Proposed ¡dynamic ¡model ¡ § Parameter ¡inference ¡ § Showed ¡that ¡DMNF ¡gives ¡compe66ve ¡results ¡and ¡ is ¡capable ¡of ¡detec6ng ¡changing ¡number ¡of ¡ clusters ¡ § How ¡to ¡set ¡alpha? ¡How ¡to ¡avoid ¡local ¡op6mums? ¡ ¡ 16 ¡

Ques6ons? ¡ Thanks! ¡ 17 ¡