RAMCloud: Scalable High-Performance Storage En<rely in - PowerPoint PPT Presentation

RAMCloud: ¡Scalable ¡ ¡ High-­‑Performance ¡Storage ¡ En<rely ¡in ¡DRAM ¡ Kevin ¡Chang ¡ 15-­‑799 ¡Lightning ¡Talk ¡ 10/14/2013 ¡ J. ¡Ousterhout ¡et ¡al., ¡“The ¡Case ¡for ¡RAMClouds: ¡Scalable ¡High-­‑Performance ¡Storage ¡EnCrely ¡in ¡DRAM”, ¡ SIGOPS, ¡2009 ¡ 1 ¡

DRAM ¡in ¡Storage ¡System ¡ • DRAM ¡has ¡becoming ¡the ¡main ¡storage ¡recently ¡ • Examples: ¡ – Facebook: ¡200TB ¡total ¡data, ¡150TB ¡DRAM ¡cache ¡in ¡2009 ¡ – Large ¡Web ¡indexes ¡used ¡by ¡Google ¡and ¡Yahoo! ¡ • Problems : ¡DRAMs ¡are ¡not ¡efficiently ¡used ¡ – Typically ¡used ¡as ¡a ¡cache: ¡large ¡penalty ¡from ¡$misses ¡ – Synchronous ¡I/O ¡writes ¡with ¡the ¡backing ¡store ¡ 2 ¡

RAMCloud ¡ • General-­‑purpose ¡DRAM-­‑storage ¡system ¡ • Goal : ¡maximize ¡DRAM ¡performance ¡ ¡ • Features : ¡ • All ¡data ¡always ¡in ¡DRAM ¡(no ¡$ ¡misses) ¡ • Durable ¡and ¡available ¡ • Large ¡scale: ¡1000+nodes, ¡100+TB ¡ • Low ¡latency: ¡ 5-­‑10µs ¡access ¡to ¡data ¡ • Enable ¡new ¡class ¡of ¡applica]ons: ¡ – Large-­‑scale ¡graph ¡algorithms ¡ – Facebook ¡limits ¡off-­‑box ¡requests ¡to ¡b/w ¡100-­‑150 ¡to ¡ensure ¡ low ¡latency ¡ 3 ¡

RAMCloud ¡Architecture ¡ 1000 ¡– ¡100,000 ¡Applica<on ¡Servers ¡ Appl. ¡ Appl. ¡ Appl. ¡ Appl. ¡ … ¡ Coordinator ¡ Library ¡ Library ¡ Library ¡ Library ¡ Master: ¡ ¡ Datacenter ¡ Key-­‑value ¡Store ¡ Network ¡ Commodity ¡ Servers ¡ Master ¡ Master ¡ Master ¡ Master ¡ … ¡ Backup ¡data ¡ from ¡other ¡ Backup ¡ Backup ¡ Backup ¡ Backup ¡ masters ¡ 1000 ¡– ¡10,000 ¡Storage ¡Servers ¡ 4 ¡ Courtesy: ¡RAMCloud ¡talk ¡given ¡by ¡Prof. ¡Ousterhout ¡at ¡LinkedIn ¡ ¡

Durability ¡and ¡Availability ¡ • Goal : ¡high ¡performance ¡(not ¡limited ¡by ¡disk) ¡ • Problems : ¡ – 1. ¡Synchronous ¡disk ¡writes ¡(slow)? ¡ • Log-­‑structured ¡memory ¡to ¡buffer ¡writes ¡ • 1 ¡copy ¡of ¡data ¡in ¡DRAM ¡& ¡mul]ple ¡copies ¡in ¡disk/flash ¡ – 2. ¡What ¡if ¡the ¡master ¡server ¡fails? ¡ • Fast ¡crash ¡recovery ¡@ ¡64GB/sec ¡ • Divide ¡data ¡into ¡par]]ons ¡and ¡distribute ¡across ¡recovery ¡masters ¡ Recovery ¡ Masters ¡ Crashed ¡ Master ¡ Backups ¡ 5 ¡ Courtesy: ¡RAMCloud ¡talk ¡given ¡by ¡Prof. ¡Ousterhout ¡at ¡LinkedIn ¡ ¡

Conclusion ¡ • High-­‑performance ¡storage ¡system ¡ – 5-­‑10µs ¡latency ¡and ¡100+TB ¡capacity ¡ • Durability ¡and ¡availability ¡ – Fast ¡crash ¡recovery ¡and ¡log ¡structures ¡ ¡ 6 ¡