Adversarial Machine Learning Daniel Lowd University of - PowerPoint PPT Presentation

Adversarial ¡Machine ¡Learning ¡ Daniel ¡Lowd ¡ University ¡of ¡Oregon ¡

Example: ¡Spam ¡Filtering ¡ From: spammer@example.com 1. ¡ Cheap mortgage now!!! Feature ¡Weights ¡ cheap ¡= ¡ ¡1.0 ¡ 2. ¡ mortgage ¡= ¡ ¡1.5 ¡ 3. ¡ Total ¡score ¡= ¡ ¡2.5 ¡ > ¡1.0 ¡(threshold) ¡ Spam ¡

Example: ¡Spammers ¡Adapt ¡ From: spammer@example.com 1. ¡ Cheap mortgage now!!! Eugene Oregon Feature ¡Weights ¡ cheap ¡= ¡ ¡1.0 ¡ 2. ¡ mortgage ¡= ¡ ¡1.5 ¡ Eugene ¡= ¡-­‑1.0 ¡ Oregon ¡= ¡-­‑1.0 ¡ 3. ¡ Total ¡score ¡= ¡ ¡0.5 ¡ < ¡1.0 ¡(threshold) ¡ OK ¡

Are ¡Linear ¡Classifiers ¡Vulnerable? ¡ -­‑ ¡ -­‑ ¡ + ¡ + ¡ ? ¡ ? ¡ ? ¡ -­‑ ¡ ? ¡ X 2 ¡ X 2 ¡ ? ¡ ? ¡ ? ¡ + ¡ ? ¡ X 1 ¡ X 1 ¡ Adversary ¡wants ¡to ¡find ¡the ¡best ¡spam ¡email ¡that ¡will ¡go ¡ through ¡the ¡filter. ¡ In ¡general: ¡lowest-­‑cost ¡instance ¡classified ¡as ¡negaUve, ¡ for ¡some ¡cost ¡funcUon ¡and ¡some ¡set ¡of ¡classifiers. ¡

AYacking ¡Linear ¡Classifiers ¡  With ¡conUnuous ¡features, ¡find ¡opUmal ¡point ¡by ¡doing ¡line ¡ search ¡in ¡each ¡dimension: ¡ X 2 ¡ x a ¡ X 1 ¡  With ¡binary ¡features, ¡take ¡a ¡negaUve ¡instance ¡(non-­‑spam) ¡and ¡ reduce ¡its ¡cost ¡unUl ¡we ¡have ¡a ¡factor ¡of ¡2: ¡ x - x a c ( x ) w i w j w k w l w m [Lowd ¡& ¡Meek, ¡2005] ¡

Experimental ¡Results ¡ • RealisUc ¡spam ¡filter ¡trained ¡from ¡Hotmail ¡data. ¡ • How ¡many ¡words ¡do ¡you ¡have ¡to ¡change ¡to ¡ get ¡the ¡median ¡spam ¡past ¡the ¡filter? ¡ • How ¡many ¡queries ¡does ¡it ¡take? ¡ Attack type Naïve Bayes Logistic reg. words (queries) words (queries) Active 31* (23,000) 12* (9,000) Passive 112 (0) 149 (0) [Lowd ¡& ¡Meek, ¡2005] ¡

Evading ¡Classifiers: ¡ Ongoing ¡Work ¡ Which ¡classes ¡of ¡non-­‑linear ¡classifiers ¡can ¡we ¡efficiently ¡ evade, ¡and ¡under ¡what ¡assumpUons? ¡ X 2 ¡ X 2 ¡ C 1 ¡ C 2 ¡ X 1 ¡ X 1 ¡

Robust ¡Machine ¡Learning ¡ Scenario: ¡ Adversary ¡knows ¡our ¡classifier ¡and ¡can ¡maliciously ¡ modify ¡data ¡to ¡aYack. ¡ Goal: ¡ Select ¡the ¡best ¡classifier, ¡assuming ¡the ¡worst ¡adversarial ¡ manipulaUon. ¡(Zero-­‑sum ¡Stackelberg ¡game.) ¡

Robust ¡Machine ¡Learning ¡ • Previous ¡work: ¡Linear ¡classifiers ¡ • Our ¡work: ¡RelaUonal ¡domains ¡ Examples: ¡Web ¡spam, ¡eBay ¡fraud, ¡etc. ¡ No No No No Yes No Yes [Brin&Page98; ¡ChakrabarU&al98; ¡ (c) Manually labeled Image ¡credit: ¡[Chau&al06] ¡ Abernethy&al08] ¡

Problem ¡FormulaUon ¡ • Given: ¡A ¡graph ¡with ¡nodes, ¡aYributes, ¡and ¡edges. ¡ ¡ (e.g., ¡web ¡pages, ¡words, ¡and ¡links.) ¡ • Assume: ¡Adversary ¡can ¡add ¡or ¡remove ¡up ¡to ¡k ¡ aYributes ¡(e.g., ¡words) ¡ Y 1 ¡ X 1,1 ¡ X 1,2 ¡ X 1,3 ¡ Y 2 ¡ Y 3 ¡ Y 4 ¡ X 2,1 ¡ X 2,2 ¡ X 2,3 ¡ X 3,1 ¡ X 3,2 ¡ X 3,3 ¡ X 4,1 ¡ X 4,2 ¡ X 4,3 ¡ [Torkamani ¡& ¡Lowd, ¡2013] ¡

Technical ¡Approach ¡ • Start ¡with ¡associaUve ¡Markov ¡networks, ¡a ¡special ¡ case ¡of ¡a ¡structural ¡SVM. ¡ ¡[Taskar ¡et ¡al., ¡2004] ¡ • Modify ¡the ¡quadraUc ¡program ¡by ¡“plugging ¡in” ¡the ¡ adversary’s ¡worst-­‑case ¡modificaUon. ¡ • Result: ¡OpUmal ¡parameters ¡in ¡polynomial ¡Ume ¡ (for ¡an ¡assumed ¡model ¡of ¡the ¡adversary). ¡ [Torkamani ¡& ¡Lowd, ¡2013] ¡

Results: ¡PoliUcal ¡Blogs ¡ (Tuned ¡for ¡10% ¡adversary) ¡ 80 SVM SVMINV 70 AMN Classification Error (%) CACC 60 50 40 30 20 10 0 0 5 10 15 20 25 [Torkamani ¡& ¡Lowd, ¡2013] ¡ Strength of adversary (%)

Adversarial ¡RelaUonal ¡Learning: ¡ Ongoing ¡Work ¡ • Non-­‑associaUve ¡links ¡ (e.g., ¡fraudsters ¡and ¡accomplices) ¡ • Adversaries ¡that ¡add ¡and ¡remove ¡links ¡ (e.g., ¡link ¡farms ¡on ¡the ¡Web) ¡ • Real-­‑world ¡evaluaUon ¡with ¡Web ¡spam ¡

Summary ¡ • Machine ¡learning ¡is ¡increasingly ¡applied ¡to ¡ security ¡domains ¡where ¡adversaries ¡will ¡try ¡to ¡ defeat ¡it. ¡ • To ¡assess ¡these ¡new ¡risks, ¡we ¡need ¡a ¡beYer ¡ understanding ¡of ¡ML ¡vulnerabiliUes. ¡ • To ¡reduce ¡these ¡risks, ¡we ¡need ¡more ¡robust ¡ ML ¡methods. ¡