Problem Most current mutual informa2on (MI) based feature - PowerPoint PPT Presentation

Problem ¡ • Most ¡current ¡mutual ¡informa2on ¡(MI) ¡based ¡ feature ¡selec2on ¡techniques ¡are ¡greedy ¡in ¡ nature ¡thus ¡are ¡prone ¡to ¡sub-­‑op2mal ¡ decisions. ¡ ¡ Current ¡Solu+on ¡: ¡ ¡ • Quadra2c ¡Programming ¡Feature ¡Selec2on ¡ (QPFS) ¡

selected ¡features ¡cannot ¡be ¡deselected ¡at ¡a ¡later ¡stage ¡ (subop2mal ¡solu2on) ¡

Represents ¡rela2ve ¡feature ¡weights ¡

¡ ¡ Issues ¡of ¡QPFS: ¡ • Posi2ve ¡definiteness ¡of ¡H ¡(approxima2on ¡of ¡H ¡) ¡ • ¡How ¡to ¡treat ¡self-­‑redundancy? ¡ – H_ii ¡= ¡0 ¡then ¡H ¡will ¡be ¡indefinite. ¡ – H_ii ¡= ¡H(X_i) ¡penalizeing ¡features ¡for ¡their ¡intrinsic ¡ entropy ¡

• Sub-­‑selec2on ¡ Hard ¡combinatorial ¡problem ¡ • ¡quadra2c ¡integer ¡programming ¡problem ¡ NP-­‑hard ¡problem ¡ Paper ¡Page ¡3 ¡ ¡ ¡

The ¡extended ¡MRMR ¡family ¡ • Page ¡3 ¡

How ¡to ¡properly ¡treat ¡self-­‑redundancy? ¡ • H_ii ¡= ¡0 ¡ The ¡op2mal ¡solu2on ¡will ¡be ¡changed ¡with ¡different ¡parameter ¡seRng. ¡

Spectral ¡relaxa2on ¡

Global ¡MI-­‑based ¡feature ¡selec2on ¡via ¡ semi-­‑definite ¡programming ¡

Complexity ¡analysis ¡ • compu2ng ¡the ¡similarity ¡matrix ¡+ ¡ranking ¡the ¡ features ¡ • Similarity ¡matrix ¡: ¡O(n^2.d) ¡

Global ¡feature ¡selec2on ¡for ¡large ¡data ¡

EXPERIMENTAL ¡EVALUATION ¡

What ¡is ¡ac2ve ¡semi-­‑supervised ¡ learning ¡ • labeled ¡data ¡is ¡scarce ¡but ¡unlabeled ¡data ¡is ¡ easily ¡available. ¡ ¡ • A ¡semi-­‑supervised ¡learning ¡technique ¡must ¡ not ¡only ¡learn ¡from ¡the ¡labeled ¡data ¡but ¡also ¡ from ¡the ¡inherent ¡clustering ¡present ¡in ¡the ¡ unlabeled ¡ • Ac2ve ¡learning ¡try ¡to ¡achieve ¡the ¡maximum ¡ gain ¡in ¡terms ¡of ¡learning ¡ability ¡for ¡a ¡given, ¡ and ¡small, ¡number ¡of ¡label ¡queries. ¡

• The ¡authors ¡focus ¡on ¡the ¡problem ¡of ¡pool-­‑ based ¡batch-­‑mode ¡ac2ve ¡semi-­‑supervised ¡ learning ¡ (large ¡sta2c ¡collec2on ¡of ¡unlabeled ¡data ¡from ¡ which ¡a ¡very ¡small ¡percentage ¡of ¡data ¡points ¡ have ¡to ¡be ¡selected ¡in ¡order ¡to ¡be ¡labeled) ¡

Graph ¡representa2on ¡ • Nodes ¡: ¡data ¡points ¡ • Edge ¡Weights ¡: ¡Similari2es ¡between ¡the ¡ nodes. ¡ • Membership ¡func2on ¡of ¡Class ¡‘C’ ¡is ¡a ¡graph ¡ signal ¡(0 ¡or ¡1) ¡ • Membership ¡func2on ¡is ¡smooth. ¡

• The ¡semi-­‑supervised ¡learning ¡problem ¡can ¡be ¡ viewed ¡as ¡a ¡problem ¡of ¡interpola2ng ¡a ¡smooth ¡ graph ¡signal. ¡

• Most ¡of ¡the ¡previous ¡works ¡of ¡semi-­‑ supervised ¡methods ¡are ¡global ¡(they ¡require ¡ inversion ¡or ¡eigen ¡decomposi2on ¡of ¡large ¡ matrices ¡associated ¡with ¡the ¡underlying ¡ Graph) ¡ • Not ¡scalable ¡

• A ¡key ¡challenge ¡in ¡graph ¡signal ¡processing ¡is ¡to ¡ design ¡localized ¡algorithms ¡that ¡scale ¡well ¡ with ¡graph ¡sizes. ¡(the ¡output ¡at ¡each ¡vertex ¡ should ¡only ¡depend ¡on ¡its ¡local ¡ neighborhood.) ¡

Goal ¡ • Analyzing ¡and ¡improving ¡upon ¡the ¡mul2fractal ¡ network ¡generator ¡(MFNG) ¡introduced ¡by ¡Palla ¡et ¡ al. ¡ • Pros: ¡MFNG ¡is ¡more ¡flexible ¡than ¡the ¡SKG ¡ • Cons: ¡ ¡ – only ¡matches ¡a ¡single ¡graph ¡property, ¡such ¡as ¡the ¡ number ¡of ¡nodes ¡with ¡degree ¡d. ¡ – all ¡MFNG ¡sampling ¡techniques ¡are ¡O(|V ¡|^2) ¡ algorithms, ¡making ¡the ¡genera2on ¡of ¡large ¡graphs ¡ infeasible. ¡

• Decompose ¡a ¡genera2ng ¡measure ¡W_k ¡with ¡k ¡ recursive ¡levels ¡in ¡k ¡measures ¡with ¡depth ¡one. ¡

New ¡Problem ¡ • Given ¡a ¡graph ¡G, ¡we ¡are ¡interested ¡in ¡finding ¡a ¡ probability ¡matrix ¡‘P’, ¡a ¡set ¡of ¡lengths ¡`l’, ¡and ¡a ¡ recursion ¡depth ¡‘k’, ¡such ¡that ¡graphs ¡ generated ¡from ¡the ¡measure ¡W_k(P,l) ¡are ¡ similar ¡to ¡G. ¡

Experiments ¡ • Synthe2c ¡data ¡set ¡ • Real ¡world ¡data ¡(All ¡data ¡sets ¡are ¡from ¡the ¡ SNAP ¡collec2on.) ¡