Simultaneous Private Learning of Mul4ple Concepts January - PowerPoint PPT Presentation

Simultaneous ¡Private ¡Learning ¡of ¡ Mul4ple ¡Concepts ¡ January ¡16, ¡2016 ¡ No ¡ obfusca4on! ¡ Mark ¡Bun ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Kobbi ¡Nissim ¡ ¡ ¡ ¡ ¡ ¡ ¡Uri ¡Stemmer ¡ Harvard ¡U. ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Harvard ¡& ¡Ben-­‑Gurion ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Ben-­‑Gurion ¡U. ¡

Privacy-­‑Preserving ¡Data ¡Analysis ¡ z 1 ¡ z 2 ¡ Curator ¡ “M” ¡ z n ¡ Want ¡curators ¡that ¡are: ¡ ¡ ¡ ¡ ¡ ¡ ¡ w Private ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ w Accurate ¡ ¡ ¡ ¡ ¡ ¡ ¡ w Efficient ¡

Privacy-­‑Preserving ¡Data ¡Analysis ¡ z 1 ¡ z 2 ¡ Curator ¡ “M” ¡ z n ¡ Want ¡curators ¡that ¡are: ¡ ¡ ¡ w Differen4ally ¡ ¡ ¡ ¡ ¡ ¡ w Accurate ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ w Sample ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Private ¡ ¡ ¡ ¡ ¡ ¡ ¡for ¡Learning ¡Tasks ¡ ¡ ¡Efficient ¡

What ¡can ¡be ¡Done ¡with ¡Differen4al ¡Privacy? ¡ Histograms ¡ [DMNS06] ¡ Con4ngency ¡tables ¡ [BCDKMT07, ¡GHRU11, ¡TUV12, ¡DNT14] ¡ PAC ¡learning ¡ [BDMN05, ¡KLNRS08] ¡ ¡…and ¡much ¡more! ¡ Clustering ¡ [BDMN05, ¡NRS07] ¡ ¡ Streaming ¡algorithms ¡ [DNRY10, ¡DNPR10, ¡MMNW11] ¡ SVD ¡ [HR12, ¡HR13, ¡KT13, ¡DTTZ14] ¡ Mechanism ¡Design ¡ [MT07, ¡NST10, ¡X11, ¡NOS12, ¡CCKMV12, ¡HK12, ¡KPRU12] ¡ ¡ Ques4on: ¡Can ¡these ¡tasks ¡be ¡performed ¡as ¡efficiently ¡as ¡their ¡ non-­‑private ¡counterparts? ¡ ¡ This ¡work: ¡ Sample ¡complexity ¡of ¡privately ¡PAC ¡learning ¡mul4ple ¡ concepts ¡over ¡the ¡same ¡example ¡set ¡ Refs. ¡thanks ¡to ¡Salil ¡Vadhan ¡

PAC ¡Learning ¡ [Valiant84] ¡ Gender ¡ Age ¡ 4Chan? ¡ MLP:FiM ¡ M ¡ 38 ¡ Y ¡ 1 ¡ F ¡ 6 ¡ N ¡ 1 ¡ F ¡ 34 ¡ N ¡ 0 ¡ … ¡ M ¡ 27 ¡ N ¡ 0 ¡ Learner ¡ 1 ¡ M ¡ 31 ¡ Y ¡ h ¡ h ¡= ¡((Age ¡< ¡10) ¡AND ¡(Gender ¡= ¡F)) ¡ ¡OR ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡((17 ¡< ¡Age ¡< ¡40) ¡AND ¡(Gender ¡= ¡M) ¡AND ¡(4Chan? ¡= ¡Y)) ¡

PAC ¡Learning ¡ [Valiant84] ¡ Gender ¡ Age ¡ 4Chan? ¡ MLP:FiM ¡ M ¡ 38 ¡ Y ¡ 1 ¡ F ¡ 6 ¡ N ¡ 1 ¡ F ¡ 34 ¡ N ¡ 0 ¡ … ¡ M ¡ 27 ¡ N ¡ 0 ¡ Learner ¡ 0 ¡ F ¡ 65 ¡ N ¡ h ¡ h ¡= ¡((Age ¡< ¡10) ¡AND ¡(Gender ¡= ¡F)) ¡ ¡OR ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡((17 ¡< ¡Age ¡< ¡40) ¡AND ¡(Gender ¡= ¡M) ¡AND ¡(4Chan? ¡= ¡Y)) ¡

PAC ¡Learning ¡ [Valiant84] ¡ P = ¡unknown ¡distribu4on ¡over ¡domain ¡X ¡ à {0, ¡1}} ¡ ¡ ¡ ¡e.g. ¡DNF ¡of ¡intervals ¡ C ¡ ¡= ¡concept ¡class ¡{c: ¡X à D ¡ x 1 , ¡c(x 1 ) ¡ i.i.d. ¡ x 2 , ¡c(x 2 ) ¡ P h: ¡ X à à {0, ¡1} ¡ ¡ ¡ Learner ¡ x n , ¡c(x n ) ¡ Fact: ¡ n ¡= ¡Θ(VC( C )) ¡samples ¡suffice ¡to ¡generalize ¡ ¡ VC( C ) ¡≤ ¡log| C |, ¡but ¡can ¡ be ¡much ¡smaller ¡

PAC ¡ Mul+ -­‑Learning ¡ [Valiant06] ¡ Gender ¡ Age ¡ 4Chan? ¡ MLP:FiM ¡ M ¡ 38 ¡ Y ¡ 1 ¡ F ¡ 6 ¡ N ¡ 1 ¡ F ¡ 34 ¡ N ¡ 0 ¡ … ¡ M ¡ 27 ¡ N ¡ 0 ¡ Learner ¡ 0 ¡ F ¡ 65 ¡ N ¡ h ¡

PAC ¡ Mul+ -­‑Learning ¡ [Valiant06] ¡ Gender ¡ Age ¡ 4Chan? ¡ MLP:FiM ¡ AdvTime ¡ A:tLA ¡ Dora ¡ M ¡ 38 ¡ Y ¡ 1 ¡ 1 ¡ 1 ¡ 0 ¡ F ¡ 6 ¡ N ¡ 1 ¡ 0 ¡ 0 ¡ 0 ¡ F ¡ 34 ¡ N ¡ 0 ¡ 0 ¡ 1 ¡ 0 ¡ … ¡ M ¡ 27 ¡ N ¡ 0 ¡ 1 ¡ 0 ¡ 0 ¡ Mul4-­‑Learner ¡ 0 ¡ 0 ¡ 1 ¡ 0 ¡ F ¡ 65 ¡ N ¡ h ¡

PAC ¡ Mul+ -­‑Learning ¡ [Valiant06] ¡ P = ¡unknown ¡distribu4on ¡over ¡domain ¡X ¡ à {0, ¡1}} ¡ C ¡ ¡= ¡concept ¡class ¡{c: ¡X à D ¡ c 1 ¡ … ¡ c k ¡ x 1 ¡ c 1 (x 1 ) ¡ c k (x 1 ) ¡ i.i.d. ¡ P h 1 ,…,h k : ¡ X à à {0, ¡1} ¡ ¡ ¡ Learner ¡ x 2 ¡ c 1 (x 2 ) ¡ c k (x 2 ) ¡ … ¡ c j (x i ) ¡ x n ¡ c 1 (x n ) ¡ c k (x n ) ¡ Goal: ¡ ¡ ¡ ¡ ¡For ¡all ¡ P and ¡c 1 ,…,c k ¡ ∈ C , ¡output ¡ h ¡ ¡ ¡ s.t. ¡ ¡ ¡ ¡ ¡h i ¡ ≈ ¡c i ¡on ¡ P for ¡every ¡i=1,…,k ¡ ¡ ¡ ¡

PAC ¡ Mul+ -­‑Learning ¡ [Valiant06] ¡ P = ¡unknown ¡distribu4on ¡over ¡domain ¡X ¡ à {0, ¡1}} ¡ C ¡ ¡= ¡concept ¡class ¡{c: ¡X à D ¡ c 1 ¡ … ¡ c k ¡ x 1 ¡ c 1 (x 1 ) ¡ c k (x 1 ) ¡ i.i.d. ¡ P h 1 ,…,h k : ¡ X à à {0, ¡1} ¡ ¡ ¡ Learner ¡ x 2 ¡ c 1 (x 2 ) ¡ c k (x 2 ) ¡ … ¡ c j (x i ) ¡ x n ¡ c 1 (x n ) ¡ c k (x n ) ¡ Fact: ¡ n ¡= ¡Θ(VC( C )) ¡samples ¡suffice ¡to ¡generalize ¡ ¡ Uniform ¡convergence: ¡Over ¡a ¡random ¡sample ¡S ¡of ¡size ¡O α,β (VC( C )), ¡ [ ] ≤ β Pr ∃ f , g ∈ C :( f | S = g | S ) ∧ err P ( f , g ) > α

What ¡about ¡Privacy? ¡ Gender ¡ Age ¡ 4Chan? ¡ MLP:FiM ¡ AdvTime ¡ A:tLA ¡ Dora ¡ M ¡ 38 ¡ Y ¡ 1 ¡ 1 ¡ 1 ¡ 0 ¡ F ¡ 6 ¡ N ¡ 1 ¡ 0 ¡ 0 ¡ 0 ¡ F ¡ 34 ¡ N ¡ 0 ¡ 0 ¡ 1 ¡ 0 ¡ … ¡ M ¡ 27 ¡ N ¡ 0 ¡ 1 ¡ 0 ¡ 0 ¡ The ¡data ¡is ¡anonymized, ¡so ¡ Mul4-­‑Learner ¡ it’s ¡safe ¡to ¡release, ¡right? ¡ 0 ¡ 0 ¡ 1 ¡ 0 ¡ F ¡ 65 ¡ N ¡ h ¡

What ¡about ¡Privacy? ¡ Gender ¡ Age ¡ 4Chan? ¡ MLP:FiM ¡ AdvTime ¡ Wrong! ¡[Narayanan-­‑Shma4kov08] ¡ A:tLA ¡ Dora ¡ M ¡ 38 ¡ Y ¡ 1 ¡ 1 ¡ 1 ¡ 0 ¡ F ¡ 6 ¡ N ¡ 1 ¡ 0 ¡ 0 ¡ 0 ¡ Pinkie ¡Pie ¡is ¡best ¡pony! ¡ F ¡ 34 ¡ N ¡ 0 ¡ 0 ¡ 1 ¡ 0 ¡ Kobbi ¡Nissim ¡ … ¡ M ¡ 27 ¡ N ¡ 0 ¡ 1 ¡ 0 ¡ 0 ¡ Jake ¡The ¡Dog ¡is ¡my ¡spirit ¡animal ¡ The ¡data ¡is ¡anonymized, ¡so ¡ Mul4-­‑Learner ¡ Uri ¡Stemmer ¡ it’s ¡safe ¡to ¡release, ¡right? ¡ Mo4vates ¡need ¡for ¡rigorous ¡ 0 ¡ 0 ¡ 1 ¡ 0 ¡ F ¡ 65 ¡ N ¡ h ¡ privacy ¡guarantees ¡

Extending ¡ Kasiviswanathan, ¡ Private ¡PAC ¡Mul4-­‑Learning ¡ Lee, ¡Nissim, ¡ Raskhodnikova, ¡ Smith ¡‘08 ¡ A@ributes ¡ c 1 ¡ c 2 ¡ … ¡ c k ¡ x 1 ¡ c 1 (x 1 ) ¡ c 2 (x 1 ) ¡ c k (x 1 ) ¡ x 2 ¡ c 1 (x 2 ) ¡ c 2 (x 2 ) ¡ c k (x 2 ) ¡ x 3 ¡ c 1 (x 3 ) ¡ c 2 (x 3 ) ¡ c k (x 3 ) ¡ … ¡ c j (x i ) ¡ x n ¡ c 1 (x n ) ¡ c 2 (x n ) ¡ c k (x n ) ¡ Differen4ally ¡Private ¡ Mul4-­‑Learner ¡ h 1 ¡ h 2 ¡ … ¡ h k ¡

Extending ¡ Kasiviswanathan, ¡ Private ¡PAC ¡Mul4-­‑Learning ¡ Lee, ¡Nissim, ¡ Raskhodnikova, ¡ Smith ¡‘08 ¡ A@ributes ¡ c 1 ¡ c 2 ¡ … ¡ c k ¡ x 1 ¡ b 11 ¡ b 21 ¡ b k1 ¡ x 2 ¡ b 12 ¡ b 22 ¡ b k2 ¡ x 3 ¡ b 13 ¡ b 23 ¡ b k3 ¡ … ¡ b ji ¡ x n ¡ b 1n ¡ b 2n ¡ b kn ¡ Differen4ally ¡Private ¡ Mul4-­‑Learner ¡ h 1 ¡ h 2 ¡ … ¡ h k ¡

Extending ¡ Kasiviswanathan, ¡ Private ¡PAC ¡Mul4-­‑Learning ¡ Lee, ¡Nissim, ¡ Raskhodnikova, ¡ Smith ¡‘08 ¡ A@ributes ¡ c 1 ¡ c 2 ¡ … ¡ c k ¡ x 1 ¡ b 11 ¡ b 21 ¡ b k1 ¡ D ¡and ¡ D’ ¡are ¡ neighbors ¡if ¡ x 2 ¡ b 12 ¡ b 22 ¡ b k2 ¡ they ¡differ ¡on ¡one ¡row ¡ x 3 ¡ b 13 ¡ b 23 ¡ b k3 ¡ … ¡ b ji ¡ M ¡is ¡ differenEally ¡private ¡if ¡ x n ¡ b 1n ¡ b 2n ¡ b kn ¡ for ¡all ¡neighbors ¡ D, ¡D’ ¡ : ¡ Differen4ally ¡Private ¡ Mul4-­‑Learner ¡ M( D ) ¡≈ ¡M( D’ ) ¡ h 1 ¡ h 2 ¡ … ¡ h k ¡ DN03+Dwork, ¡DN04, ¡BDMN05, ¡ DMNS06 , ¡ DKMMN06 ¡

Extending ¡ Kasiviswanathan, ¡ Private ¡PAC ¡Mul4-­‑Learning ¡ Lee, ¡Nissim, ¡ Raskhodnikova, ¡ Smith ¡‘08 ¡ A@ributes ¡ c 1 ¡ c 2 ¡ … ¡ c k ¡ x 1 ¡ b 11 ¡ b 21 ¡ b k1 ¡ D ¡and ¡ D’ ¡are ¡ neighbors ¡if ¡ x 2 ¡ b 12 ¡ b 22 ¡ b k2 ¡ they ¡differ ¡on ¡one ¡row ¡ x’ 3 ¡ b’ 13 ¡ b' 23 ¡ b' k3 ¡ … ¡ b ji ¡ M ¡is ¡ differenEally ¡private ¡if ¡ x n ¡ b 1n ¡ b 2n ¡ b kn ¡ for ¡all ¡neighbors ¡ D, ¡D’ ¡ : ¡ Differen4ally ¡Private ¡ Mul4-­‑Learner ¡ M( D ) ¡≈ ¡M( D’ ) ¡ h 1 ¡ h 2 ¡ … ¡ h k ¡ DN03+Dwork, ¡DN04, ¡BDMN05, ¡ DMNS06 , ¡ DKMMN06 ¡