M INIMIZING L ATENCY FOR S ECURE D ISTRIBUTED C OMPUTING Rawad - PowerPoint PPT Presentation

IEEE ¡Interna/onal ¡Symposium ¡on ¡Informa/on ¡Theory ¡(ISIT) ¡2017, ¡Aachen ¡-­‑ ¡Germany ¡ M INIMIZING L ATENCY FOR S ECURE D ISTRIBUTED C OMPUTING Rawad ¡Bitar ¡ ¡ Illinois ¡Ins/tute ¡of ¡Technology ¡ ¡ ¡ Joint ¡work ¡with ¡ Parimal ¡Parag ¡ ¡ and ¡ ¡Salim ¡El ¡Rouayheb ¡ ¡ IISc ¡– ¡Bangalore ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡IIT ¡-­‑ ¡Chicago ¡

D ISTRIBUTED C OMPUTING AND A PPLICATIONS Outsourcing computation Distributing tasks within Outsourcing computations to to companies data centers (MapReduce) volunteers (crowdsourcing) Main concern: Confidentiality Medical research Federated learning Genome sequencing DNA sequencing … 2 ¡ Aachen, ¡ISIT ¡2017 ¡ R ¡Bitar, ¡P ¡Parag ¡and ¡S ¡El ¡Rouayheb ¡

S ECURE D ISTRIBUTED C OMPUTING • Data must remain confidential from Worker 1 the workers (passive eavesdropper) • Linear computation over encrypted Worker 2 data • Computational secrecy is achieved Worker 3 using homomorphic encryption Master … … • Secure distributed computing with information theoretic guarantees Worker n 3 ¡ Aachen, ¡ISIT ¡2017 ¡ R ¡Bitar, ¡P ¡Parag ¡and ¡S ¡El ¡Rouayheb ¡

A RE “C LASSICAL C ODES ” E FFICIENT ? Linear computation Worker ¡1 ¡ Attributes Data R A R R x x x Worker ¡2 ¡ x A + R A + R (n,k,z)=(3,2,1) ( A + R ) x Coset codes / secret x sharing Worker ¡3 ¡ A + 2 R ( Master A + A + 2 R 2 R ) x Random R matrix n=3: total # of workers, k=2: min # of non stragglers, z=1: # of colluding workers • Master decodes = - A x ( A + R ) x R x Master has to decode • R x 4 ¡ Aachen, ¡ISIT ¡2017 ¡ R ¡Bitar, ¡P ¡Parag ¡and ¡S ¡El ¡Rouayheb ¡

M ODEL OF S ECURE D ISTRIBUTED C OMPUTING • Information theoretic secrecy Linear computations H ( A | observation of any z workers) = H ( A ) A x 1 , A x 2 , . . . A Data • Iterative algorithm • = upload + computation + T w x Master download result • ‘s are iid shifted exponential [Liang and T w … Kozat ‘14] ( 0 if t < c/ ( k − z ) , Worker ¡1 ¡ Worker ¡n ¡ Worker ¡2 ¡ Worker ¡3 ¡ F T w ( t ) = c 1 − e − λ ( k − z )( t − k − z ) otherwise . • n = # of workers • : Master waiting time T M • n-k = max # of stragglers • z = max # of colluding workers (passive adversary) Goal : Design codes that minimize and T M guarantee information theoretic secrecy 5 ¡ Aachen, ¡ISIT ¡2017 ¡ R ¡Bitar, ¡P ¡Parag ¡and ¡S ¡El ¡Rouayheb ¡

O UR R ESULTS : 1) B OUNDS ON . E [ T MSC ] Theorem 1: [Bounds on mean waiting time] The mean waiting time E [ T MSC ] of an ( n, k, z ) system using Staircase codes is upper bounded by ✓ H n − H n − d ◆ c E [ T MSC ] ≤ min + (1) , λ ( d − z ) d − z d ∈ { k,...,n } where H n is the n th harmonic sum defined as H n , P n 1 i , and H 0 , 0. The i =1 mean waiting time is lower bounded by k − 1 i 2( − 1) j ✓ n ◆ ✓ i ◆ c (2) X X E [ T MSC ] ≥ n − z + max λ (2( n − i + j )( d − z ) + ( n − d )( n − d + 1)) . i j d ∈ { k,...,n } i =0 j =0 1.2 0.35 Mean waiting time Mean waiting time 0.3 k = n/ 5 k = n − 2 Average waiting time 1 Average waiting time 0.25 0.8 0.2 Upper bound Upper bound 0.6 0.15 0.4 0.1 0.2 0.05 Lower bound Lower bound 0 0 0 10 20 30 40 50 0 20 40 60 80 100 Number of workers n Number of workers n Number of workers n Number of workers n 6 ¡ Aachen, ¡ISIT ¡2017 ¡ R ¡Bitar, ¡P ¡Parag ¡and ¡S ¡El ¡Rouayheb ¡

O UR R ESULTS : 2) D ISTRIBUTION OF . T MSC Theorem 2: [Exact mean waiting time] The mean waiting time E [ T MSC ] for a ( k + 1 , k, z ) systems using Staircase codes is given by ⇣ ⌘ ◆ 2 3 − λ c k +1 i exp ✓ k + 1 k − z + 1 + 1 1 c k − z X ( − 1) i E [ T MSC ] = 4 ( k − z ) i + 1 − 5 ( k − z + 1) i λ i i =1 1.1 100% k = n − 2 Staircase vs “classical” 1 90% Mean waiting time Percentage of savings 0.9 80% 0.8 70% k/n = 1 / 5 0.7 60% 0.6 50% Upper bound EC2 0.5 40% k/n = 1 / 4 0.4 30% Actual value k/n = 1 / 2 0.3 20% Lower bound 0.2 10% 0.1 0% 5 10 15 20 25 10 20 30 40 50 60 Number of workers n Number of workers n 7 ¡ Aachen, ¡ISIT ¡2017 ¡ R ¡Bitar, ¡P ¡Parag ¡and ¡S ¡El ¡Rouayheb ¡

R ELATED W ORK ON S TRAGGLER M ITIGATION Straggler mitigation Content Distributed download computing Use of codes to reduce delays, e.g., Use of codes for specific application, e.g., MDS codes [Huang, Pawar, Zhang, and Ramchandran ’12] Matrix multiplication [Lee, Lam, Pedarsani, Papailiopoulos and Task replication [Wang, Joshi, Wornell ’14] Ramchandran ’16] Availability codes [Kadhe, Soljanin, and Sprintson ’15] Gradient descent [Tandon, Lei, Dimakis, Karampatziakis ’16] Inverse linear problems [Yang, Grover and Kar ‘17] Convolution of two long vectors [Dutta, Cadambe and Grover ’17] Accounting for workers workload, e.g., Accounting for workers workload, e.g., Heterogeneous clusters [Reisizadehmobarakeh, Prakash, Adaptive encoding [Liang and Kozat '14] Pedarsani, Avestimehr ‘17] Existence of a tradeoff, e.g., Tradeoff between computation and download, e.g. , Between storage cost and content download [Li, Maddah Ali and Avestimehr ’16] time [Joshi, Liu and Soljanin ’14] Latency analysis, e.g., Accounting for computation at the worker, e.g., [Dutta, Cadambe, and Grover ’16], [Yu, Maddah-Ali and [Parag, Bura and Chamberland ‘17], [Shah, Bouillard, Avestimehr ’17] Baccelli ‘17] [Halbawi, Azizan-Ruhi, Salehi and Hassibi ‘17] Plus tutorial and lots of good talks at this ISIT … but how about secrecy? Aachen, ¡ISIT ¡2017 ¡ R ¡Bitar, ¡P ¡Parag ¡and ¡S ¡El ¡Rouayheb ¡ 8 ¡

R ELATED W ORK ON S ECRECY Information theoretic secrecy, e.g., Secure matrix multiplication using Shamir secret sharing [Atallah and Frikken ‘10] Homomorphic encryption, e.g., Linear regression on encrypted data based on homomorphic encryption and Yao garbled circuit [Nikolaenko, Weinsberg, Ioannidis, Joye, Boneh and Taft ’13] Privacy preserving multi-party deep neural network based on homomorphic encryption [Takabi, Hesamifard, and Ghasemi ’16] Survey on privacy and Genome sequencing [Naveed, Ayday, Clayton, Fellay, Gunter, Hubaux, Malin, and Wang ’15] Aachen, ¡ISIT ¡2017 ¡ R ¡Bitar, ¡P ¡Parag ¡and ¡S ¡El ¡Rouayheb ¡ 9 ¡

I NGREDIENTS OF O UR M AIN R ESULTS Minimum latency secure distributed computing Comparison to “classical” codes Implementation on EC2 Coding theory Queuing theory Service time Staircase codes Order Statistics [ B. and El Rouayheb T-IT ‘17] Concentration bounds 10 ¡ Aachen, ¡ISIT ¡2017 ¡ R ¡Bitar, ¡P ¡Parag ¡and ¡S ¡El ¡Rouayheb ¡

E XAMPLE OF S TAIRCASE C ODES n=3: total # of workers A 1 R 1 k=2: min # of non stragglers = = A R A 2 R 2 z=1: # of colluding workers Master Data Random matrix matrix x x x Worker ¡1 ¡ Worker ¡2 ¡ Worker ¡3 ¡ A 1 +2A 2 +4R 1 A 1 +3A 2 +4R 1 A 1 +A 2 +R 1 1 task = 2 subtasks A 1 +3R 2 A 1 +R 2 A 1 +2R 2 1 straggler no stragglers ü Master has two options for decoding (choose the faster) A x ü Master does not have to decode (except when n-k workers are stragglers) R x 11 ¡ Aachen, ¡ISIT ¡2017 ¡ R ¡Bitar, ¡P ¡Parag ¡and ¡S ¡El ¡Rouayheb ¡

A BSTRACTION OF S TAIRCASE C ODES ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Universal ¡staircase ¡codes ¡ • ( n, k, z )    D n − k D n − k D 2 . . . . . . D 2 n      D 1 D Share 1 D 1 R n − k +1 R n − k +1 Polynomial number of   1  Vander .    S S R R subtasks A S S S R R R 3 R . . . . . . S R 3 .      .  = monde ¡ n     R 2 R R 2   2  Share n 0 0    R 1 R 1 . . . . . . 0 0 0 0 0 fast slow Decoding options: Waiting time … k − z 1 2 3 4 5 n No stragglers n − z The Master n k − z … n 1 straggler 1 2 3 4 - waits until any n − 1 − z 1 decoding option n is available … … k − z n n-d stragglers 1 2 3 d - d − z 1 … K n … … n 1 k 1 + - n-k stragglers 1 1 12 ¡ Aachen, ¡ISIT ¡2017 ¡ R ¡Bitar, ¡P ¡Parag ¡and ¡S ¡El ¡Rouayheb ¡