Learning with Hypergraphs B. Ravindran Joint Work with - PowerPoint PPT Presentation

Learning ¡with ¡Hypergraphs ¡ B. ¡Ravindran ¡ Joint ¡Work ¡with ¡Sai ¡Nageshwar ¡S. ¡ Reconfigurable ¡and ¡Intelligent ¡Systems ¡Engineering ¡(RISE) ¡Group ¡ Department ¡of ¡Computer ¡Science ¡and ¡Engineering ¡ Indian ¡InsEtute ¡of ¡Technology ¡Madras ¡

We live in a connected World! Represented As Graphs Protein-Protein Interaction World Wide Web Network Social Networks

Super-Dyadic Relations Relationships might involve multiple entities. IFCAM Learning with Hypergraphs 3

Other ¡examples ¡ • PublicaEon ¡data ¡ – Co-­‑authorship ¡ – Co-­‑citaEon ¡ • CollaboraEons ¡ – CommiLee ¡memberships ¡ – Movies ¡ • Chemical ¡processes ¡ • Social ¡interacEons ¡ IFCAM Learning with Hypergraphs 4

Hypergraphs Hypergraphs are generalization of graphs in which an edge can connect any number of vertices H = (V, E) V = {2, 3, 4, 5, 7, 8, 10, 11} E = {E 1 , E 2 , E 3 } = { {3, 7, 8, 2, 10}, {2, 4, 5}, {4, 5, 10, 11} } IFCAM Learning with Hypergraphs 5

Learning With Hypergraphs Segmentation Classification IFCAM Learning with Hypergraphs 6

Segmentation • Based ¡on ¡Hypergraph ¡Distance ¡ – Create ¡normal ¡graph ¡by ¡connecEng ¡nodes ¡with ¡ weighted ¡edges ¡ – Weight ¡is ¡the ¡number ¡of ¡hyperedges ¡traversed ¡in ¡ the ¡shortest ¡path ¡ • Find ¡clusters ¡in ¡the ¡normal ¡graph ¡ – Maximize ¡modularity ¡ Newman ¡‘06 ¡ IFCAM Learning with Hypergraphs 7

Modularity ¡ modularity Lectures on Bio-informatics Carl Kingsford, CMU IFCAM Learning with Hypergraphs 8

Indian Railways Network • Each ¡StaEon ¡is ¡a ¡node ¡in ¡the ¡graph ¡ • Each ¡train ¡is ¡considered ¡as ¡an ¡hyperedge! ¡ – Spans ¡all ¡the ¡staEons ¡that ¡the ¡train ¡visits ¡ • Remove ¡edges ¡that ¡are ¡subsets ¡of ¡other ¡edges ¡ – Eliminates ¡express ¡trains ¡like ¡Rajdhani, ¡Shathabdi, ¡ etc. ¡ – AlternaEve ¡explored: ¡Assign ¡weights ¡based ¡on ¡ “speed” ¡ ¡ IFCAM Learning with Hypergraphs 9

Transport ¡Network ¡Model ¡ • Link ¡two ¡staEons ¡if ¡there ¡is ¡a ¡track ¡between ¡ them. ¡ ¡ • Most ¡staEons ¡are ¡of ¡degree ¡two ¡ – Except ¡major ¡juncEons ¡ • Inferred ¡from ¡the ¡Eme ¡tables ¡ IFCAM Learning with Hypergraphs 10

Hypergraph Model vs Normal Graph Model Property ¡ Base ¡Graph ¡Model ¡ Hypergraph ¡Model ¡ Connected ¡ 2 ¡ 2 ¡ Components ¡ Diameter ¡ 247 ¡ 5 ¡ CommuniEes ¡ 75 ¡latent ¡ 5 ¡ latent ¡ CommuniEes ¡with ¡ communiEes ¡ 0.956 ¡modularity ¡ mapping ¡with ¡Indian ¡ AdminstraEve ¡zones ¡ IFCAM Learning with Hypergraphs 11

Communities and Zones IFCAM Learning with Hypergraphs 12

Future Work • Weighted ¡Analysis ¡of ¡Indian ¡Railways ¡Network ¡ • Network ¡properEes ¡for ¡hypergraph ¡relaEons ¡ – Centrality ¡ – Conductance, ¡etc. ¡ • …relevance ¡to ¡network ¡analysis ¡ ¡ IFCAM Learning with Hypergraphs 13

CollecEve ¡ClassificaEon ¡with ¡ Hypergraphs ¡

Machine ¡Learning ¡ • TradiEonal ¡Machine ¡Learning ¡ – Use ¡node ¡aLributes ¡(content) ¡alone ¡ IFCAM Learning with Hypergraphs 15

CollecEve ¡Approach ¡ • TradiEonal ¡Machine ¡Learning ¡ – Use ¡node ¡aLributes ¡(content) ¡alone ¡ • CollecEve ¡approaches ¡ – Use ¡content ¡and ¡link ¡informaEon ¡ • Label ¡of ¡a ¡node ¡depends ¡on ¡labels ¡of ¡neighbors ¡ on ¡the ¡link ¡structure ¡(graph) ¡ – How ¡many ¡friends ¡bought ¡computers? ¡ – Web ¡page ¡text ¡and ¡hyperlinks ¡ – Content ¡of ¡papers ¡and ¡citaEons ¡ – Tweet ¡text ¡and ¡followers ¡ IFCAM Learning with Hypergraphs 16

CollecEve ¡ClassificaEon ¡ • Typically ¡work ¡with ¡aggregate ¡label ¡staEsEcs ¡ ¡ • Build ¡classifiers ¡on ¡networked ¡data ¡using ¡label ¡ distribuEon ¡in ¡neighborhood ¡as ¡well ¡ – Collec9ve ¡learning ¡ • Predict ¡labels ¡on ¡parEally ¡labeled ¡test ¡data ¡ – Collec9ve ¡inference ¡ – Each ¡network ¡is ¡parEally ¡labeled ¡ • Eg.: ¡IteraEve ¡ClassificaEon ¡Algorithm; ¡Graph ¡ Cuts; ¡etc. ¡ ¡ IFCAM Learning with Hypergraphs 17

A Naive Approach • Train ¡a ¡classifier ¡on ¡known ¡instances ¡and ¡then ¡ infer ¡labels ¡of ¡unknowns ¡ • Use ¡relaEon ¡for ¡smoothing ¡ – Repeated ¡local ¡voEng ¡ – A ¡form ¡of ¡relaxaEon ¡labeling ¡ IFCAM Learning with Hypergraphs 18

Graph Cut Approach • For ¡each ¡class, ¡add ¡a ¡node ¡in ¡the ¡graph ¡ • Connect ¡all ¡instances ¡to ¡the ¡class ¡nodes ¡with ¡ weights ¡equal ¡to ¡probability ¡of ¡the ¡class ¡ – Given ¡by ¡classifier ¡trained ¡on ¡known ¡instances ¡ – For ¡known ¡instances, ¡weight ¡will ¡be ¡1. ¡ • ParEEon ¡the ¡graph ¡for ¡ smoothing ¡ – MulE-­‑way ¡Cuts ¡ IFCAM Learning with Hypergraphs 19

Multi Way Relations In Collective Learning • Various ¡problem ¡exhibit ¡super ¡dyadic ¡relaEonships ¡ • Examples ¡: ¡ – In ¡classifying ¡research ¡papers, ¡besides ¡words ¡in ¡the ¡ papers ¡co-­‑citaEon ¡relaEonship ¡can ¡also ¡be ¡used ¡for ¡ classificaEon. ¡A ¡paper ¡cites ¡many ¡papers ¡and ¡a ¡co-­‑ citaEon ¡graph ¡involves ¡a ¡mulE-­‑way ¡relaEonship. ¡ – In ¡Social ¡Networks, ¡for ¡clustering/classifying ¡users ¡ besides ¡posts, ¡group ¡memberships ¡can ¡be ¡used ¡for ¡ learning. ¡These ¡groups ¡are ¡mulE-­‑way ¡relaEonships ¡ ¡ IFCAM Learning with Hypergraphs 20

Transductive Inference • TransducEve ¡inference ¡is ¡a ¡semi-­‑supervised ¡ learning ¡approach ¡ – Both ¡known ¡and ¡unknown ¡instances ¡are ¡used ¡for ¡ inferring ¡class ¡labels ¡ – Answer ¡quesEons ¡about ¡specific ¡unknown ¡instances ¡ – InducEon: ¡infer ¡general ¡rules ¡ • Our ¡hypergraph ¡classificaEon ¡approach ¡is ¡a ¡form ¡of ¡ transducEve ¡inference ¡ – Repeat ¡the ¡inference ¡process ¡assigning ¡labels ¡to ¡ unknown ¡instances ¡unEl ¡convergence ¡ IFCAM Learning with Hypergraphs 21

Classification With Hypergraphs Steps : • Using a random walk operator on a hypergraph, obtain node to node transition probability, P . • Find stationary distribution, Π , of the random walk operator on the hypergraph • Let y(u) be label of u then for an unknown node v , label can be inferred as IFCAM Learning with Hypergraphs 22

Weights ¡in ¡the ¡Hypergraph ¡ • Weight ¡of ¡an ¡edge ¡is ¡the ¡ purity ¡of ¡the ¡edge ¡ – FracEon ¡of ¡labeled ¡nodes ¡in ¡the ¡edge ¡that ¡belong ¡ to ¡the ¡majority ¡class ¡ • Class ¡imbalance: ¡the ¡fracEon ¡of ¡data ¡points ¡ belonging ¡to ¡the ¡criEcal ¡class ¡is ¡very ¡small ¡ – Medical ¡data ¡ – DissaEsfied ¡customers ¡ • Problem: ¡CriEcal ¡class ¡edges ¡will ¡not ¡have ¡ significant ¡weights ¡ IFCAM Learning with Hypergraphs 23

Handling ¡class ¡imbalance ¡ • Hyperedges ¡are ¡weighted ¡to ¡represent ¡relaEve ¡ richness ¡of ¡a ¡class ¡ • Hellinger ¡distance ¡for ¡a ¡2 ¡class ¡problem ¡(posiEve ¡and ¡ negaEve) ¡is ¡defined ¡as ¡: ¡ 2 ⎛ ⎞ ¡ ¡ ¡ ¡ ¡ ¡ ¡ + − y e y e W ( e ) = y + − ⎜ ⎟ ⎜ ⎟ y − ⎝ ⎠ ¡ ¡where, ¡ y e + is ¡set ¡of ¡posiEve ¡instances ¡in ¡hyperedge ¡ e ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ y + is ¡set ¡of ¡posiEve ¡instances ¡in ¡training ¡set ¡ ¡ ¡ ¡ ¡ ¡ ¡ y e - is ¡set ¡of ¡negaEve ¡instances ¡in ¡hyperedge ¡ e ¡ ¡ ¡ ¡ ¡ y - is ¡set ¡of ¡negaEve ¡instances ¡in ¡training ¡set ¡ IFCAM Learning with Hypergraphs 24

Random Walk on Hypergraph • Prob. ¡of ¡transiEon ¡between ¡two ¡nodes ¡ u ¡and v is ¡given ¡as ¡product ¡of: ¡ – Prob. ¡of ¡taking ¡edges ¡ e' containing ¡ u ¡and ¡ v : ¡ – Prob. ¡of ¡choosing ¡ v , ¡once ¡ e' is ¡chosen: ¡ IFCAM Learning with Hypergraphs 25