Outline Recap DifferenCal privacy ensures adversary cant - PowerPoint PPT Presentation

No ¡Free ¡Lunch ¡& ¡Pufferfish ¡Framework ¡ CompSci ¡590.03 ¡ Instructor: ¡Ashwin ¡Machanavajjhala ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 1 ¡

Outline ¡ • Recap ¡ – DifferenCal ¡privacy ¡ensures ¡adversary ¡can’t ¡disCnguish ¡between ¡two ¡ “neighboring ¡tables” ¡using ¡any ¡output ¡beyond ¡a ¡factor ¡of ¡exp(ε). ¡ – What ¡does ¡epsilon ¡mean? ¡What ¡do ¡neighboring ¡tables ¡mean? ¡ ¡ – Are ¡there ¡adversaries ¡that ¡can ¡“break” ¡differenCal ¡privacy ¡? ¡ • No ¡Free ¡Lunch ¡Theorem ¡ • Pufferfish ¡Framework ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 2 ¡

Outline ¡ • Recap ¡ • No ¡Free ¡Lunch ¡Theorem ¡ – It ¡is ¡not ¡possible ¡to ¡guarantee ¡ any ¡ uClity ¡in ¡addiCon ¡to ¡privacy, ¡ without ¡ making ¡assump@ons ¡about ¡ the ¡aXacker’s ¡knowledge ¡ • Pufferfish ¡Framework ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 3 ¡

Outline ¡ • Recap ¡ • No ¡Free ¡Lunch ¡Theorem ¡ • Pufferfish ¡Framework ¡ – Making ¡adversarial ¡assumpCons ¡explicit ¡ – What ¡adversarial ¡assumpCons ¡does ¡differenCal ¡privacy ¡make? ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 4 ¡

Holy ¡grail ¡in ¡privacy ¡… ¡ • … ¡is ¡there ¡a ¡single ¡definiCon ¡that ¡can ¡ensure ¡privacy ¡independent ¡ of ¡what ¡data ¡is ¡used ¡and ¡independent ¡of ¡the ¡aXacker? ¡ ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 5 ¡

DifferenCal ¡Privacy ¡ A ¡good ¡candidate ¡for ¡this ¡“holy ¡grail” ¡definiCon ¡… ¡ • … ¡is ¡not ¡suscepCble ¡to ¡known ¡aXacks. ¡ ¡ • … ¡seems ¡to ¡ensure ¡privacy ¡against ¡ strong ¡ adversaries ¡ ¡ – who ¡know ¡informaCon ¡about ¡all ¡but ¡one ¡individual ¡ • … ¡is ¡composable. ¡ • … ¡ε ¡is ¡a ¡very ¡nice ¡tuning ¡knob ¡for ¡trading ¡privacy ¡vs ¡uClity. ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 6 ¡

But ¡… ¡Different ¡ways ¡to ¡define ¡privacy ¡for ¡ different ¡datasets ¡ • Neighbors ¡for ¡tabular ¡data ¡ – Presence ¡or ¡absence ¡of ¡a ¡tuple ¡D, ¡D ¡U ¡{t} ¡ – Change ¡in ¡a ¡tuple ¡D ¡U ¡{x}, ¡D ¡U ¡{y} ¡ • Neighbors ¡for ¡Graphs ¡ – Presence ¡or ¡absence ¡of ¡an ¡edge ¡ ¡ – Presence ¡or ¡absence ¡of ¡a ¡vertex ¡(and ¡all ¡its ¡edges) ¡ ¡ How ¡to ¡choose ¡a ¡ correct ¡neighbor ¡ • Neighbors ¡for ¡Set ¡values ¡data ¡ definiCon? ¡ ¡ – Presence ¡or ¡absence ¡of ¡one ¡value ¡ – Presence ¡or ¡absence ¡of ¡enCre ¡set ¡ • Neighbors ¡for ¡Streaming ¡data ¡ ¡ – Change ¡in ¡one ¡Events ¡ – Change ¡in ¡K ¡consecuCve ¡events ¡ – EnCre ¡sequence ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 7 ¡

But ¡… ¡DifferenCal ¡privacy ¡may ¡lead ¡to ¡ disclosure ¡of ¡sensiCve ¡informaCon ¡… ¡ • … ¡when ¡the ¡adversary ¡knows ¡that ¡ records ¡in ¡the ¡data ¡are ¡ correlated ¡ • CorrelaCons ¡across ¡records ¡in ¡the ¡data ¡occurs ¡in ¡many ¡ways: ¡ ¡ – Data ¡with ¡pre-­‑released ¡constraints ¡ – Social ¡Networks ¡ – FuncConal ¡dependencies ¡ – Streaming ¡data ¡ ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 8 ¡

But ¡… ¡DifferenCal ¡privacy ¡may ¡lead ¡to ¡ disclosure ¡of ¡sensiCve ¡informaCon ¡… ¡ • … ¡when ¡the ¡adversary ¡knows ¡that ¡ records ¡in ¡the ¡data ¡are ¡ correlated ¡ • CorrelaCons ¡across ¡records ¡in ¡the ¡data ¡occurs ¡in ¡many ¡ways: ¡ ¡ – Data ¡with ¡pre-­‑released ¡constraints ¡ – Social ¡Networks ¡ – FuncConal ¡dependencies ¡ – Streaming ¡data ¡ ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 9 ¡

ConCngency ¡tables ¡ Each ¡tuple ¡takes ¡k=4 ¡ different ¡values ¡ 2 ¡ 2 ¡ 2 ¡ 8 ¡ D ¡ Count( ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 10 ¡

ConCngency ¡tables ¡ Want ¡to ¡release ¡counts ¡ privately ¡ ? ¡ ? ¡ ? ¡ ? ¡ D ¡ Count( ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 11 ¡

Laplace ¡Mechanism ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 8 ¡+ ¡Lap(1/ ε ) ¡ Mean ¡: ¡8 ¡ D ¡ Variance ¡: ¡2/ ε 2 ¡ Guarantees ¡differenDal ¡privacy. ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 12 ¡

Marginal ¡counts ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 4 ¡ 4 ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 8 ¡+ ¡Lap(1/ ε ) ¡ 10 ¡ 10 ¡ 4 ¡ 4 ¡ 10 ¡ 10 ¡ Auxiliary ¡marginals ¡published ¡for ¡following ¡reasons: ¡ ¡ 1. Legal : ¡2002 ¡Supreme ¡Court ¡case ¡Utah ¡v. ¡Evans ¡ 2. Contractual : ¡AdverCsers ¡must ¡know ¡exact ¡ D ¡ demographics ¡at ¡coarse ¡granulariCes ¡ Does ¡Laplace ¡mechanism ¡sDll ¡guarantee ¡ privacy? ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 13 ¡

Marginal ¡counts ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 4 ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 8 ¡+ ¡Lap(1/ ε ) ¡ 10 ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 4 ¡ 10 ¡ Count ¡( ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡= ¡8 ¡+ ¡Lap(1/ ε ) ¡ ¡ Count ¡( ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡= ¡8 ¡-­‑ ¡Lap(1/ ε ) ¡ ¡ D ¡ Count ¡( ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡= ¡8 ¡-­‑ ¡Lap(1/ ε ) ¡ ¡ Count ¡( ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡= ¡8 ¡+ ¡Lap(1/ ε ) ¡ ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 14 ¡

Marginal ¡counts ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 4 ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 8 ¡+ ¡Lap(1/ ε ) ¡ 10 ¡ 2 ¡+ ¡Lap(1/ ε ) ¡ 4 ¡ 10 ¡ Mean ¡: ¡8 ¡ D ¡ ¡ ¡Variance ¡: ¡2/ke 2 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡can ¡reconstruct ¡the ¡table ¡with ¡ high ¡precision ¡for ¡large ¡k ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 15 ¡

Reason ¡for ¡Privacy ¡Breach ¡ • ¡Pairs ¡of ¡tables ¡that ¡differ ¡ ¡ ¡ in ¡one ¡tuple ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ • ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡cannot ¡disCnguish ¡them ¡ Tables ¡that ¡do ¡not ¡ saCsfy ¡background ¡ knowledge ¡ Space ¡of ¡all ¡ possible ¡tables ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 16 ¡

Reason ¡for ¡Privacy ¡Breach ¡ ¡ ¡ ¡can ¡disCnguish ¡between ¡ every ¡pair ¡of ¡these ¡tables ¡based ¡ on ¡the ¡output ¡ Space ¡of ¡all ¡ possible ¡tables ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 17 ¡

But ¡… ¡DifferenCal ¡privacy ¡may ¡lead ¡to ¡ disclosure ¡of ¡sensiCve ¡informaCon ¡… ¡ • … ¡when ¡the ¡adversary ¡knows ¡that ¡ records ¡in ¡the ¡data ¡are ¡ correlated ¡ • CorrelaCons ¡across ¡records ¡in ¡the ¡data ¡occurs ¡in ¡many ¡ways: ¡ ¡ – Data ¡with ¡pre-­‑released ¡constraints ¡ – Social ¡Networks ¡ – FuncConal ¡dependencies ¡ – Streaming ¡data ¡ ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 18 ¡

A ¡count ¡query ¡in ¡a ¡social ¡network ¡ Bob Alice • Want ¡to ¡release ¡the ¡number ¡of ¡edges ¡between ¡ blue ¡ and ¡ green ¡ communiCes. ¡ • Should ¡not ¡disclose ¡the ¡presence/absence ¡of ¡Bob-­‑Alice ¡edge. ¡ ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 19 ¡

Adversary ¡knows ¡how ¡social ¡networks ¡ evolve ¡ • Depending ¡on ¡the ¡social ¡network ¡evoluCon ¡model, ¡ ¡ (d 2 -­‑d 1 ) ¡ is ¡ linear ¡or ¡even ¡ super-­‑linear ¡ in ¡the ¡size ¡of ¡the ¡network. ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 20 ¡