f4: Facebooks Warm BLOB storage systems Subramanian Muralidhar, - PowerPoint PPT Presentation

f4: ¡Facebook’s ¡Warm ¡BLOB ¡storage ¡systems Subramanian ¡Muralidhar, ¡Wya1 ¡Lloyd, ¡Sabyasachi ¡Roy, ¡Cory ¡Hill, ¡Ernest ¡ Lin, ¡Weiwen ¡Liu, ¡Satadru ¡Pan, ¡Shiva ¡Shankar, ¡Viswanath ¡Sivakumar, ¡ Linpeng ¡Tang, ¡Sanjeev ¡Kumar ¡ * ¡Borrow ¡some ¡from ¡f4 ¡OSDI ¡slides ¡

Problem • Facebook ¡has ¡to ¡deal ¡with ¡many ¡immutable ¡objects ¡ • Large ¡in ¡size ¡ ¡ • Immutable ¡binary ¡data ¡(BLOBs) ¡ • Photos, ¡videos, ¡a1ached ¡files ¡(Feb ¡14. ¡400 ¡billion ¡photos) ¡ • CreaRons, ¡reads, ¡deleRons ¡– ¡ NO ¡modifica7ons ¡ • Hot ¡and ¡warm ¡– ¡temperature ¡zones ¡exists! ¡ • New ¡=> ¡“hot” ¡ • Cools ¡over ¡Rme ¡(rapidly) ¡ • Requirement: ¡ • Low ¡latency ¡ • Storage ¡efficiency ¡(lower ¡effecRve-­‑replicaRon-­‑factor) ¡

BLOB ¡Storage ¡System ¡in ¡Facebook ¡architecture TAO ¡

BLOB ¡storage ¡system • CreaRon ¡(C) ¡ • C1. ¡Request ¡goes ¡to ¡RT ¡ • C2. ¡RT ¡directs ¡request ¡to ¡the ¡storage ¡system (Haystack) ¡ • Read ¡(R) ¡ • R1. ¡Read ¡from ¡cache. ¡If ¡found, ¡return ¡ • R2. ¡Cache ¡miss, ¡go ¡to ¡TT ¡ • R3. ¡TT ¡redirects ¡request ¡to ¡RT ¡ • R4. ¡RT ¡directs ¡request ¡to ¡the ¡storage ¡system (Haystack/f4) ¡ • DeleRon ¡(D) ¡ • D1. ¡Request ¡goes ¡to ¡RT ¡ • D2. ¡RT ¡directs ¡request ¡to ¡the ¡storage ¡system

f4 ¡Design • Two ¡main ¡goals: ¡ • Storage ¡efficiency ¡ • Fault ¡tolerance ¡ • f4 ¡cell: ¡ • Resides ¡within ¡one ¡data ¡center ¡ • Only ¡stores ¡lock ¡volumes ¡ • The ¡data ¡and ¡index ¡files ¡ ¡ are ¡read-­‑only. ¡ • Journal ¡files ¡are ¡not ¡presented. ¡

f4: ¡Fault ¡tolerance • Within ¡a ¡data ¡center: ¡ • Reed ¡Solomon ¡Encoding ¡ • (k, ¡v): ¡k ¡blocks ¡data, ¡v ¡parity ¡blocks ¡ • Tolerate ¡up ¡to ¡v ¡blocks ¡fails ¡

f4: ¡Fault ¡tolerance • Between ¡data ¡centers: ¡ • XOR ¡Encoding ¡ ¡ 0101 ¡XOR ¡0011 ¡= ¡0110 ¡ 0101 ¡XOR ¡0110 ¡= ¡0011 ¡

EffecBve ¡replicaBon ¡factor • How ¡many ¡Rmes ¡physical ¡storage ¡required ¡to ¡store ¡data? ¡ • Haystack: ¡3.6x ¡– ¡To ¡store ¡one ¡bit, ¡need ¡3.6 ¡physical ¡bit ¡ • RAID-­‑6. ¡1.2x ¡ • Replicate ¡three ¡Rmes ¡ • f4: ¡2.8x ¡ • Replicate ¡cell ¡between ¡two ¡data ¡centers ¡ • f4: ¡2.1x ¡ • Use ¡third ¡cell ¡for ¡XOR ¡encoding ¡ • Reed-­‑Solomon ¡encoding: ¡(10,4): ¡1.4x ¡ • XOR ¡encoding: ¡1.5x ¡

Read ¡– ¡local ¡cell ¡failure

Read ¡– ¡data ¡center ¡failure

EvaluaBon • What ¡and ¡how ¡much ¡data ¡is ¡“warm”? ¡ • How ¡efficient ¡f4 ¡is, ¡in ¡terms ¡of ¡throughput ¡and ¡latency? ¡

Hot ¡and ¡warm ¡devide

EvaluaBon

Takeaways • f4 ¡– ¡warm ¡storage ¡system, ¡with ¡Haystack, ¡provide ¡the ¡storage ¡layer ¡ for ¡BLOBs. ¡ • “One-­‑size-­‑fits-­‑all” ¡no ¡longer ¡holds: ¡Different ¡types ¡of ¡data ¡should ¡be ¡handled ¡ differently. ¡ • BLOBs ¡in ¡social ¡network, ¡or ¡social ¡content ¡in ¡general, ¡iniRally ¡is ¡hot ¡ and ¡cools ¡rapidly ¡over ¡Rme. ¡ • f4 ¡reduces ¡effecRve ¡replicaRon ¡factor ¡from ¡3.6x ¡(Haystack) ¡to ¡2.1x ¡ and ¡is ¡sRll ¡resilient ¡to ¡failures ¡(disks, ¡hosts, ¡racks, ¡datacenters). ¡