Elas%cTree: Saving Energy in Data Center Networks Brandon - PowerPoint PPT Presentation

Elas%cTree: ¡Saving ¡Energy ¡in ¡ Data ¡Center ¡Networks ¡ Brandon ¡Heller ¡(Stanford) ¡ Srini ¡Seetharaman ¡(Deutsche ¡Telekom ¡R&D, ¡Los ¡Altos) ¡ Priya ¡Mahadevan ¡(HewleG-­‑Packard ¡Labs, ¡Palo ¡Alto) ¡ Yiannis ¡Yiakoumis ¡(Stanford) ¡ Puneet ¡Sharma ¡(HewleG-­‑Packard ¡Labs, ¡Palo ¡Alto) ¡ Sujata ¡Banerjee ¡(HewleG-­‑Packard ¡Labs, ¡Palo ¡Alto) ¡ Nick ¡McKeown ¡(Stanford) ¡ 2 ¡

Network ¡Power ¡Consump%on: ¡6B ¡kWh ¡in ¡2006! ¡ ~267K ¡average ¡size ¡homes ¡ $50M ¡a ¡month ¡ a ¡ginormous ¡amount ¡of ¡CO 2 ¡ 2x ¡increase ¡projected ¡for ¡2011 ¡ 3 ¡

48-­‑port ¡Switch ¡ ~150W ¡nothing ¡connected ¡ ~ 185W ¡all ¡48 ¡1G ¡links ¡on ¡ Power ¡Meter ¡ 4 ¡

Top-­‑of-­‑Rack ¡Switch ¡ All ¡links ¡on: ¡ power ¡usage ¡(W) ¡ 5% ¡varia%on ¡ 200 ¡ Desired: ¡ 1Gbps ¡links ¡ 100Mbps ¡links ¡ 100% ¡varia%on ¡ one-­‑at-­‑a-­‑%me ¡ 100 ¡ one-­‑at-­‑a-­‑%me ¡ 50% ¡ 100% ¡ load ¡ 5 ¡

E-­‑commerce ¡website, ¡300 ¡servers ¡ ¡ Total Traffic in Gbps 20 Traffic 15 ~8x ¡ ¡ Bandwidth in Gbps day/night ¡ 10 5 0 0 100 200 300 400 500 600 700 800 4/9/09 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(one ¡week) ¡ 4/14/09 ¡ Time (1 unit = 10 mins) 6 ¡

7 ¡

Provisioning ¡for ¡peak ¡ ¡ ¡ ¡ ¡+ ¡ Time-­‑varying ¡traffic ¡demands ¡ ¡ ¡ ¡ ¡ ¡+ ¡ Low ¡efficiency ¡at ¡low ¡loads ¡ ¡ ¡ ¡ ¡ ¡= ¡ Lots ¡of ¡wasted ¡power ¡ 8 ¡

Can’t ¡do ¡much ¡for ¡1 ¡switch. ¡ What ¡if ¡we ¡have ¡1000 ¡switches? ¡ 9 ¡

Scale-­‑up ¡Data ¡Center: ¡2N ¡Tree ¡ !"#$% &''#$'()"*% -(./% +,'$% 10 ¡

Scale-­‑out ¡Data ¡Center: ¡Fat ¡Tree ¡ &"'($ )**'(*+,"-$ .#*($ !"#$%$ !"#$/$ !"#$0$ !"#$1$ 11 ¡ from ¡Scalable ¡Commodity ¡Data ¡Center, ¡SIGCOMM ¡2008, ¡Al ¡Fares ¡et ¡al. ¡

Today’s ¡ Network ¡Power ¡Knobs ¡ vary ¡link ¡ disable ¡ speed ¡ switches ¡ disable ¡links ¡ move ¡workloads ¡ 12 ¡

Our ¡approach: ¡ Turn ¡off ¡unneeded ¡links ¡and ¡switches. ¡ [Carefully] ¡ [At ¡Scale] ¡ 13 ¡

End ¡goal: ¡ Create ¡an ¡ energy-­‑propor%onal ¡data ¡center ¡ network ¡ ¡ from ¡non-­‑propor%onal ¡components. ¡ power ¡ traffic ¡ 14 ¡

15 ¡

Elas%cTree ¡ network ¡topology ¡ network ¡subset ¡ rou%ng ¡restric%ons ¡ op%mizer ¡ power ¡models ¡ flow ¡routes ¡ ¡traffic ¡matrix ¡ Op6mize ¡for ¡ Power ¡Efficiency ¡ Later, ¡balance: ¡ ¡ + ¡Fault ¡Tolerance ¡ + ¡U%liza%on ¡Bounds ¡ 16 ¡

3 ¡Op%mizers ¡ Formal ¡ Model ¡ op%mality ¡ Greedy ¡ Bin-­‑packer ¡ Topo-­‑ aware ¡ Heuris%c ¡ scalability ¡ 17 ¡

Formal ¡Model ¡ 18 ¡

Variables ¡ Type ¡ Descrip6on ¡ Real ¡ Amount ¡of ¡each ¡flow ¡along ¡each ¡link ¡ Boolean ¡ Switch ¡power ¡state ¡ Boolean ¡ Link ¡power ¡state ¡ Op%miza%on ¡Goal ¡ ¡ ¡ ¡ ¡ ¡minimize ¡ Σ ¡( ¡link ¡+ ¡switch ¡power) ¡ ¡ ¡ ¡ ¡ Constraints ¡ Type ¡ Constraint ¡ Descrip6on ¡ Mul%-­‑ ¡ Capacity ¡ traffic ¡<= ¡link ¡rate? ¡ Commodity ¡ Flow ¡Conserva%on ¡ packets ¡in ¡= ¡packets ¡out? ¡ Flow ¡ Demand ¡Sa%sfac%on ¡ bandwidth ¡>= ¡demand? ¡ Our ¡ Flow ¡on ¡ac%ve ¡links ¡only ¡ link ¡off ¡  ¡no ¡flow ¡ Addi%ons ¡ Connect ¡switches ¡and ¡links ¡ switch ¡off ¡  links ¡off ¡ 19 ¡

Greedy ¡bin-­‑ packing ¡ 20 ¡

a ¡ b ¡ c ¡ d ¡ e ¡ a ¡ 0.3 ¡ 3 ¡flows, ¡each ¡0.3Gbps ¡ b ¡ 0.3 ¡ c ¡ 0.3 ¡ d ¡ e ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 21 ¡

a ¡ b ¡ c ¡ d ¡ e ¡ a ¡ 0.3 ¡ place ¡flow ¡[a,d] ¡ b ¡ 0.3 ¡ c ¡ 0.3 ¡ d ¡ e ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 22 ¡

a ¡ b ¡ c ¡ d ¡ e ¡ a ¡ 0.3 ¡ place ¡flow ¡[a,d] ¡ b ¡ 0.3 ¡ c ¡ 0.3 ¡ d ¡ e ¡ 0.3 ¡ 0.3 ¡ 0.3 ¡ 0.3 ¡ 0.3 ¡ 0.3 ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 23 ¡

a ¡ b ¡ c ¡ d ¡ e ¡ a ¡ 0.3 ¡ place ¡flow ¡[b,d] ¡ b ¡ 0.3 ¡ c ¡ 0.3 ¡ d ¡ e ¡ 0.6 ¡ 0.6 ¡ 0.6 ¡ 0.6 ¡ 0.3 ¡ 0.3 ¡ 0.6 ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 24 ¡

a ¡ b ¡ c ¡ d ¡ e ¡ a ¡ 0.3 ¡ place ¡flow ¡[c,e] ¡ b ¡ 0.3 ¡ c ¡ 0.3 ¡ d ¡ e ¡ 0.9 ¡ 0.9 ¡ 0.6 ¡ 0.3 ¡ 0.9 ¡ 0.3 ¡ 0.3 ¡ 0.3 ¡ 0.6 ¡ 0.3 ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 25 ¡

a ¡ b ¡ c ¡ d ¡ e ¡ a ¡ 0.3 ¡ ensure ¡connec%vity ¡ b ¡ 0.3 ¡ c ¡ 0.3 ¡ d ¡ e ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 26 ¡

a ¡ b ¡ c ¡ d ¡ e ¡ a ¡ 0.3 ¡ complete ¡solu%on ¡ b ¡ 0.3 ¡ c ¡ 0.3 ¡ d ¡ X ¡X ¡X ¡ e ¡ X ¡X ¡X ¡X ¡ ¡ ¡ ¡ ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 27 ¡

a ¡ b ¡ c ¡ d ¡ e ¡ a ¡ 0.4 ¡ 3 ¡flows, ¡each ¡0.4Gbps ¡ b ¡ 0.4 ¡ c ¡ 0.4 ¡ d ¡ e ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 28 ¡

a ¡ b ¡ c ¡ d ¡ e ¡ a ¡ 0.4 ¡ place ¡flow ¡[a,d] ¡ b ¡ 0.4 ¡ c ¡ 0.4 ¡ d ¡ e ¡ 0.4 ¡ 0.4 ¡ 0.4 ¡ 0.4 ¡ 0.4 ¡ 0.4 ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 29 ¡

a ¡ b ¡ c ¡ d ¡ e ¡ a ¡ 0.4 ¡ place ¡flow ¡[b,d] ¡ b ¡ 0.4 ¡ c ¡ 0.4 ¡ d ¡ e ¡ 0.8 ¡ 0.8 ¡ 0.8 ¡ 0.8 ¡ 0.4 ¡ 0.4 ¡ 0.8 ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 30 ¡

a ¡ b ¡ c ¡ d ¡ e ¡ a ¡ 0.4 ¡ place ¡flow ¡[c,e] ¡ b ¡ 0.4 ¡ c ¡ 0.4 ¡ d ¡ e ¡ 0.8 ¡ 0.4 ¡ 0.4 ¡ 0.8 ¡ 0.8 ¡ 0.4 ¡ 0.8 ¡ 0.4 ¡ 0.4 ¡ 0.4 ¡ 0.4 ¡ 0.8 ¡ 0.4 ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 31 ¡

a ¡ b ¡ c ¡ d ¡ e ¡ a ¡ 0.4 ¡ ensure ¡connec%vity ¡ b ¡ 0.4 ¡ c ¡ 0.4 ¡ d ¡ e ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 32 ¡

a ¡ b ¡ c ¡ d ¡ e ¡ a ¡ 0.4 ¡ complete ¡solu%on ¡ b ¡ 0.4 ¡ c ¡ 0.4 ¡ d ¡ X ¡ ¡ ¡X ¡ e ¡ ¡ ¡X ¡X ¡ ¡ ¡ ¡ ¡ ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 33 ¡

Power ¡Savings ¡ 34 ¡

adding ¡fault ¡tolerance ¡ ¡ +1 ¡MST ¡ X ¡ ¡ ¡X ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 35 ¡

Cost ¡of ¡Fault ¡Tolerance ¡ 16 ¡hosts ¡ ~25% ¡ 16K ¡hosts ¡ ~1% ¡ 36 ¡

a ¡ b ¡ c ¡ d ¡ e ¡ 3 ¡flows, ¡each ¡0.3Gbps ¡ a ¡ 0.3 ¡ b ¡ 0.3 ¡ u%liza%on ¡bound: ¡0.5 ¡Gbps ¡ c ¡ 0.3 ¡ d ¡ e ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 37 ¡

a ¡ b ¡ c ¡ d ¡ e ¡ u%liza%on ¡bound: ¡0.5 ¡Gbps ¡ a ¡ 0.3 ¡ b ¡ 0.3 ¡ place ¡flow ¡[c,e] ¡ c ¡ 0.3 ¡ d ¡ e ¡ 0.3 ¡ 0.3 ¡ 0.3 ¡ 0.3 ¡ 0.3 ¡ 0.3 ¡ 0.3 ¡ 0.3 ¡ 0.6 ¡ 0.3 ¡ 0.3 ¡ 0.3 ¡ 0.3 ¡ 0.6 ¡ 0.3 ¡ d ¡ ¡ ¡ ¡e ¡ a ¡ ¡ ¡ ¡b ¡ ¡ ¡ ¡c ¡ 38 ¡

54-­‑node ¡3-­‑layer ¡Fat ¡Tree ¡(+1 ¡MST) ¡ original ¡ greedy ¡bin-­‑packer ¡ 39 ¡

E-­‑commerce ¡trace, ¡augmented ¡ +50% ¡u%liza%on ¡bound ¡ ¡ +1MST ¡ baseline ¡ 40 ¡

Topology-­‑ aware ¡Heuris%c ¡ 41 ¡