Privacy and Composi0on (Part 2) Michael Carl Tschantz - PowerPoint PPT Presentation

Privacy ¡and ¡Composi0on ¡ (Part ¡2) ¡ Michael ¡Carl ¡Tschantz ¡ Interna0onal ¡Computer ¡Science ¡Ins0tute ¡

Program ¡1 ¡ High ¡ High ¡ inputs ¡ outputs ¡ Low ¡ Low ¡ outputs ¡ inputs ¡

Program ¡2 ¡ Low ¡ inputs ¡ Low ¡ outputs ¡

Program ¡1 ¡ Program ¡2 ¡ High ¡ High ¡ Low ¡ inputs ¡ outputs ¡ inputs ¡ Low ¡ Low ¡ Low ¡ outputs ¡ outputs ¡ inputs ¡

Failure ¡of ¡Composi0on ¡ Composite ¡System ¡ Program ¡1 ¡ Program ¡2 ¡ High ¡ High ¡ Low ¡ inputs ¡ outputs ¡ inputs ¡ Low ¡ Low ¡ Low ¡ outputs ¡ outputs ¡ inputs ¡

Program ¡1 ¡ High ¡ outputs ¡ Low ¡ High ¡ outputs ¡ inputs ¡

Program ¡2 ¡ High ¡ High ¡ inputs ¡ inputs ¡ High ¡ outputs ¡

Failure ¡of ¡Composi0on ¡ Composite ¡System ¡ Program ¡1 ¡ Program ¡2 ¡ High ¡ High ¡ High ¡ outputs ¡ inputs ¡ inputs ¡ Low ¡ High ¡ High ¡ outputs ¡ outputs ¡ inputs ¡

[McLean, ¡1996] ¡ Noninterference ¡Composi0onal ¡and ¡Not ¡ Feedback ¡ Not ¡in ¡general ¡ Cascade ¡(sequen0al) ¡ Yes ¡ Product ¡(parallel) ¡ Yes ¡

Purpose ¡Restric0ons ¡in ¡Privacy ¡Policies ¡ • Yahoo!'s ¡prac0ce ¡is ¡ not ¡to ¡use ¡the ¡content ¡of ¡ messages ¡[…] ¡ for ¡marke0ng ¡purposes . ¡ • By ¡providing ¡your ¡personal ¡informa0on, ¡you ¡ give ¡[Social ¡Security ¡Administra0on] ¡consent ¡ to ¡use ¡the ¡informa0on ¡ only ¡for ¡the ¡ purpose ¡ for ¡which ¡it ¡was ¡collected. ¡ 10 ¡

Audi0ng ¡ Purpose ¡ Obeyed ¡ restric0on ¡ Auditee’s ¡ Inconclusive ¡ behavior ¡ Environment ¡ Violated ¡ Model ¡ 11 ¡

Consistent ¡with ¡ ¡ Record ¡for ¡ treatment ¡ treatment ¡ Behavior ¡ log ¡ Solver ¡ Solver ¡ Consistent ¡with ¡ ¡ observed ¡behavior ¡ 12 ¡

Behavior ¡ log ¡ Solver ¡ Record ¡for ¡ cost ¡reduc0on ¡ Consistent ¡with ¡ ¡ Solver ¡ observed ¡behavior ¡ Consistent ¡with ¡ ¡ cost ¡reduc0on ¡ 13 ¡

Consistent ¡with ¡ ¡ Record ¡for ¡ treatment ¡ treatment ¡ Behavior ¡ log ¡ Solver ¡ Solver ¡ Record ¡for ¡ cost ¡reduc0on ¡ Consistent ¡with ¡ ¡ Solver ¡ observed ¡behavior ¡ Consistent ¡with ¡ ¡ cost ¡reduc0on ¡ 14 ¡

[Tschantz, ¡Da^a ¡& ¡Wing ¡2012; ¡Tschantz ¡2012] ¡ Purpose ¡Composi0onal ¡and ¡Not ¡ Simultaneous ¡ No ¡ Parallel ¡ Yes ¡ Sequen0al ¡ Yes ¡

16 ¡

17 ¡

[Da^a, ¡Tschantz ¡& ¡Da^a ¡2015] ¡ Discrimina0on ¡ Ad ecosystem Web Advertisements browsing Significant Browse websites difference ads on related finding a news website new job (p < 0.000006) Ad settings Set the gender bit to female or male 18 18

Discrimina0on ¡Explana0on ¡ Female Gr Female Group oup Male Gr Male Group oup Jobs (Hiring Now) $200k+ Jobs - Execs Only www.jobsinyourarea.co careerchange.com 45 vs. 8 311 vs. 1816 4Runner Parts Service Find Next $200k+ Job www.westernpatoyotaservice.com careerchange.com 36 vs. 5 7 vs. 36 Criminal Justice Program Become a Youth Counselor www3.mc3.edu/Criminal+Justice www.youthcounseling.degreeleap.com 29 vs. 1 0 vs. 310 19

Out ¡Bided ¡on ¡Women ¡but ¡Not ¡Men ¡ Bids ¡for ¡Females ¡ Bids ¡for ¡Males ¡ $7 ¡Makeup ¡ $5 ¡Dress ¡ $4 ¡Job ¡ $4 ¡Job ¡ $2 ¡Hair ¡Salon ¡ $1 ¡Car ¡ $1 ¡Car ¡

Who’s ¡to ¡Blame? ¡ • Career ¡coaching ¡service: ¡place ¡same ¡bids ¡for ¡ females ¡and ¡males ¡ • Other ¡adver0sers: ¡place ¡bids ¡on ¡females ¡for ¡ products ¡that ¡cater ¡only ¡to ¡women ¡ • Google: ¡show ¡the ¡highest ¡bid ¡

References ¡ [Goguen ¡and ¡Meseguer, ¡1982] ¡Joseph ¡A. ¡Goguen ¡and ¡Jose ¡Meseguer. ¡ ¡Security ¡ • policies ¡and ¡security ¡models. ¡ ¡Proceedings ¡of ¡the ¡IEEE ¡Symposium ¡on ¡Security ¡ and ¡Privacy. ¡ ¡1982. ¡ [Dwork, ¡McSherry, ¡Nissim ¡& ¡Smith, ¡2006] ¡ ¡Cynthia ¡Dwork, ¡Frank ¡Mcsherry, ¡ • Kobbi ¡Nissim ¡and ¡Adam ¡Smith. ¡Calibra0ng ¡Noise ¡to ¡Sensi0vity ¡in ¡Private ¡Data ¡ Analysis. ¡Theory ¡of ¡Cryptography ¡Conference. ¡ ¡2006. ¡ [Garg, ¡Jia ¡& ¡Da^a, ¡2011] ¡D. ¡Garg, ¡L. ¡Jia ¡and ¡A. ¡Da^a. ¡ ¡Policy ¡Audi0ng ¡over ¡ • Incomplete ¡Logs: ¡Theory, ¡Implementa0on ¡and ¡Applica0ons. ¡ ¡Proceedings ¡of ¡ 18th ¡ACM ¡Conference ¡on ¡Computer ¡and ¡Communica0ons ¡Security. ¡ ¡2011. ¡ [McLean, ¡1996] ¡John ¡McLean. ¡ ¡A ¡General ¡Theory ¡of ¡Composi0on ¡for ¡a ¡Class ¡of ¡ • “Possibilis0c” ¡Proper0es. ¡ ¡IEEE ¡Trans. ¡Sonw. ¡Eng. ¡22 ¡(1). ¡ ¡1996 ¡ [Tschantz, ¡Da^a ¡& ¡Wing ¡2012] ¡Michael ¡Carl ¡Tschantz, ¡Anupam ¡Da^a ¡and ¡ • Jeanne^e ¡M. ¡Wing. ¡ ¡Formalizing ¡and ¡Enforcing ¡Purpose ¡Restric0ons ¡in ¡Privacy ¡ Policies. ¡ ¡Proceedings ¡of ¡the ¡2012 ¡IEEE ¡Symposium ¡on ¡Security ¡and ¡Privacy. ¡ ¡ 2012. ¡176-­‑190. ¡ [Tschantz ¡2012] ¡Michael ¡Carl ¡Tschantz. ¡ ¡Formalizing ¡and ¡Enforcing ¡Purpose ¡ • Restric0ons. ¡Ph.D. ¡Disserta0on. ¡ ¡School ¡of ¡Computer ¡Science, ¡Carnegie ¡Mellon ¡ University. ¡CMU-­‑CS-­‑12-­‑117. ¡ ¡2012. ¡ [Da^a, ¡Tschantz ¡& ¡Da^a ¡2015] ¡Amit ¡Da^a, ¡Michael ¡Carl ¡Tschantz ¡and ¡Anupam ¡ • Da^a. ¡Automated ¡Experiments ¡on ¡Ad ¡Privacy ¡Seqngs: ¡A ¡Tale ¡of ¡Opacity, ¡Choice, ¡ and ¡Discrimina0on. ¡Proceedings ¡on ¡Privacy ¡Enhancing ¡Technologies ¡(PoPETs). ¡ 2015. ¡