ccr
play

CCR Photos placed in horizontal position with even amount of white - PowerPoint PPT Presentation

Sep 19, 2023 •351 likes •867 views

CCR Photos placed in horizontal position with even amount of white space between photos and header Center for Computing Research Comparing global link arrangements for Dragonfly networks Has7ngs,

  1. CCR Photos placed in horizontal position with even amount of white space between photos and header Center for Computing Research Comparing ¡global ¡link ¡arrangements ¡for ¡ Dragonfly ¡networks ¡ Has7ngs, ¡Rincon-­‑Cruz, ¡Spehlmann, ¡ Meyers, ¡Xu, ¡and ¡Bunde ¡(Knox ¡College) ¡ and ¡Vitus ¡Leung ¡(Discrete ¡Math ¡& ¡Opt) ¡ ¡New ¡Challenges ¡in ¡Scheduling ¡Theory ¡2016 ¡ Sandia National Laboratories is a multi-program laboratory managed and operated by Sandia Corporation, a wholly owned subsidiary of Lockheed Martin Corporation, for the U.S. Department of Energy’s National Nuclear Security Administration under contract DE- AC04-94AL85000.

  2. Dragonfly ¡ § Hierarchical ¡architecture ¡to ¡exploit ¡high-­‑radix ¡switches ¡and ¡op7cal ¡ links ¡

  3. Dragonfly ¡ § Hierarchical ¡architecture ¡to ¡exploit ¡high-­‑radix ¡switches ¡and ¡op7cal ¡ links ¡ § Nodes ¡aRached ¡to ¡switches ¡

  4. Dragonfly ¡ § Hierarchical ¡architecture ¡to ¡exploit ¡high-­‑radix ¡switches ¡and ¡op7cal ¡ links ¡ § Nodes ¡aRached ¡to ¡switches ¡ § Switches ¡form ¡groups ¡ § Group ¡members ¡connected ¡w/ ¡local ¡edge ¡(electrical) ¡

  5. Dragonfly ¡ § Hierarchical ¡architecture ¡to ¡exploit ¡high-­‑radix ¡switches ¡and ¡op7cal ¡ links ¡ § Nodes ¡aRached ¡to ¡switches ¡ § Switches ¡form ¡groups ¡ § Group ¡members ¡connected ¡w/ ¡local ¡edge ¡(electrical) ¡ § Each ¡pair ¡of ¡groups ¡connected ¡w/ ¡global ¡edge ¡(op7cal) ¡

  6. Dragonfly ¡ § Hierarchical ¡architecture ¡to ¡exploit ¡high-­‑radix ¡switches ¡and ¡op7cal ¡ links ¡ 0 1 2 3 4 5 6 7 § Nodes ¡aRached ¡to ¡switches ¡ § Switches ¡form ¡groups ¡ § Group ¡members ¡connected ¡w/ ¡local ¡edge ¡(electrical) ¡ § Each ¡pair ¡of ¡groups ¡connected ¡w/ ¡global ¡edge ¡(op7cal) ¡

  7. Dragonfly ¡parameters ¡ § p ¡= ¡number ¡of ¡nodes ¡connected ¡to ¡a ¡switch ¡ § a ¡= ¡number ¡of ¡switches ¡in ¡a ¡group ¡ § h ¡= ¡number ¡of ¡op7cal ¡links ¡on ¡a ¡switch ¡ 0 1 2 3 4 5 6 7 § Number ¡of ¡groups ¡ g ¡= ¡ ah +1 ¡

  8. Which ¡port ¡connects ¡to ¡which ¡group? ¡ G 1 G 2 G 8 G 0 R 0 R 1 R 2 R 3 P0 P1 P2 P3 P4 P5 P6 P7 From original Dragonfly paper: Kim et al., ISCA 2008

  9. Three ¡dis7nct ¡global ¡link ¡arrangements ¡ 4 4 5 4 5 5 0 0 3 0 3 3 1 1 2 1 2 2 2 2 2 1 1 3 1 3 3 0 0 0 0 3 0 3 0 3 3 3 6 6 3 1 2 6 1 1 2 2 2 1 2 1 2 1 3 0 3 0 3 0 3 3 0 3 0 0 2 2 1 2 1 1 7 7 2 7 2 2 1 1 1 2 2 2 0 0 3 0 3 3 0 3 0 3 0 3 1 2 1 2 1 2 2 1 2 2 1 1 1 8 8 1 8 1 3 0 3 0 3 0 0 1 2 3 0 1 2 3 0 1 2 3 0 0 0 Absolute arrangement Relative arrangement Circulant-based arrangement Arrangements defined in Camarero et al. ACM Trans. Architec. Code Optim., 2014.

  10. Three ¡dis7nct ¡global ¡link ¡arrangements ¡ 4 4 5 4 5 5 0 0 3 0 3 3 1 1 2 1 2 2 2 2 2 1 1 3 1 3 3 0 0 0 0 3 0 3 0 3 3 3 6 6 3 1 2 6 1 1 2 2 2 1 2 1 2 1 3 0 3 0 3 0 3 3 0 3 0 0 2 2 1 2 1 1 7 7 2 7 2 2 1 1 1 2 2 2 0 0 3 0 3 3 0 3 0 3 0 3 1 2 1 2 1 2 2 1 2 2 1 1 1 8 8 1 8 1 3 0 3 0 3 0 0 1 2 3 0 1 2 3 0 1 2 3 0 0 0 Absolute arrangement Relative arrangement Circulant-based arrangement Arrangements defined in Camarero et al. ACM Trans. Architec. Code Optim., 2014. Note: IBM implementation (PERCS) uses absolute Researchers who draw entire system in their papers use relative

  11. Absolute ¡arrangement ¡ (aka Consecutive arrangement) 4 5 0 3 1 2 2 1 3 0 0 3 3 6 1 2 Port k connects to group k 2 1 (except skip own group) 3 0 3 0 Equivalently, port k of group i 2 1 connects to 7 2 1 2 group k if k < i 0 3 group k +1 if k ≥ i 0 3 1 2 2 1 8 1 3 0 0 1 2 3 0

  12. Rela7ve ¡arrangement ¡ (aka Palmtree arrangement) 4 5 0 3 1 2 2 1 3 0 0 3 3 6 1 2 2 Port k connects ( k +1) st group CW 1 3 0 Equivalently, port k of group i 3 0 connects to group ( i + k +1) mod g 2 1 7 2 1 2 0 3 0 3 1 2 2 1 1 8 3 0 0 1 2 3 0

  13. Circulant-­‑based ¡arrangement ¡ 4 5 0 3 1 2 Port 0 connects to next group (CW) 2 1 3 0 Port 1 connects to previous group 0 3 Port 2 connects to group 2 ahead 3 6 1 2 Port 3 connects to group 2 behind 2 1 ... 3 0 Equivalently, port k of group i 3 0 connects to group 2 1 7 2 ( i + k /2+1) mod g if k is even 1 2 ( i - k /2-1) mod g if k is odd 0 3 0 3 1 2 2 1 1 8 3 0 0 1 2 3 0

  14. Circulant-­‑based ¡arrangement ¡ 4 5 0 3 1 2 Port 0 connects to next group (CW) 2 1 3 0 Port 1 connects to previous group 0 3 Port 2 connects to group 2 ahead 3 6 1 2 Port 3 connects to group 2 behind 2 1 ... 3 0 Equivalently, port k of group i 3 0 connects to group 2 1 7 2 ( i + k /2+1) mod g if k is even 1 2 ( i - k /2-1) mod g if k is odd 0 3 0 3 1 2 2 1 1 8 3 0 Notes: 0 1 2 3 Assumes # global links/switch (i.e. h ) is even 0 Always connects switches at same position in their groups

  15. Our ¡contribu7on ¡ § Comparing ¡absolute, ¡rela7ve, ¡and ¡circulant-­‑based ¡ arrangements ¡ § Bisec7on ¡bandwidth ¡ § “Ease ¡of ¡use” ¡with ¡task ¡mapping ¡ § ¡Criteria ¡for ¡good ¡mapping ¡adapted ¡from ¡Prisacari ¡et ¡al., ¡IPDPS ¡2013 ¡ § Communica7on ¡in ¡phases ¡such ¡that ¡ – Messages ¡distributed ¡evenly ¡on ¡links ¡ – All ¡paths ¡in ¡a ¡phase ¡have ¡same ¡length ¡

  16. Bisec7on ¡bandwidth ¡ § Minimum ¡bandwidth ¡between ¡two ¡equal-­‑sized ¡parts ¡of ¡the ¡ system ¡ § Bandwidth ¡for ¡a ¡par7cular ¡bisec7on ¡is ¡the ¡(weighted) ¡number ¡of ¡edges ¡ crossing ¡from ¡one ¡part ¡to ¡the ¡other ¡ § Minimize ¡this ¡over ¡all ¡bisec7ons ¡ § Tries ¡to ¡measure ¡worst-­‑case ¡communica7on ¡boRleneck ¡in ¡a ¡ large ¡computa7on ¡ ¡

  17. Ini7al ¡explora7on ¡ § Branch ¡and ¡bound ¡on ¡small ¡Dragonfly ¡system ¡(NP-­‑hard ¡…) ¡ ¡ ¡ ¡( p ,4,2): ¡4 ¡switches ¡per ¡group ¡ ¡ ¡ ¡ ¡ ¡2 ¡global ¡links ¡per ¡switch ¡ ¡ ¡ ¡Has ¡36 ¡switches ¡ ¡ § Treat ¡types ¡of ¡edges ¡separately ¡ § local ¡edges ¡have ¡bandwidth ¡1 ¡ § global ¡edges ¡have ¡bandwidth ¡α ¡ ¡

  18. Bisec7on ¡bandwidth ¡as ¡func7on ¡of ¡α ¡ 40 35 Normalized bisection bandwidth 30 25 20 15 circulant − based arrangement 10 relative arrangement absolute arrangement 5 0 0 0.5 1 1.5 2 2.5 3 3.5 4 , the global connection bandwidth (local = 1) α

  19. Bisec7on ¡bandwidth ¡as ¡func7on ¡of ¡α ¡ 40 Cray XC PERCS PERCS 35 Normalized bisection bandwidth Cray XC 30 25 20 15 circulant − based arrangement 10 relative arrangement absolute arrangement 5 0 0 0.5 1 1.5 2 2.5 3 3.5 4 , the global connection bandwidth (local = 1) α

  20. Min-­‑bandwidth ¡cuts ¡for ¡absolute ¡arrangement ¡ 4 4 5 5 0 0 3 3 1 1 2 2 2 2 1 1 3 3 0 0 0 3 0 3 3 3 6 6 1 2 1 2 2 1 2 1 3 0 3 0 3 3 0 0 2 2 1 1 7 7 2 2 1 1 2 2 0 0 3 3 0 3 0 3 1 2 1 2 2 2 1 1 8 8 1 1 3 0 3 0 0 1 2 3 1 2 3 0 0 0 Bandwidth 4 + 16 α Bandwidth 24 Normalized bisection bandwidth 25 20 15 10 5 0 0 0.5 1 1.5 2 2.5 3 3.5 4 , the global connection bandwidth (local = 1) α

  21. Min-­‑bandwidth ¡cuts ¡for ¡rela7ve ¡arrangement ¡ 0 0 0 0 3 3 3 3 1 1 1 1 2 2 2 2 2 2 2 2 1 1 1 1 3 3 3 3 0 0 0 0 0 3 0 3 0 3 0 3 1 2 1 2 1 2 1 2 2 2 2 2 1 1 1 1 3 3 3 3 0 0 0 0 3 3 3 3 0 0 0 0 2 2 2 2 1 1 1 1 1 1 1 1 2 2 2 2 0 0 0 0 3 3 3 3 0 3 0 3 0 3 0 3 1 2 1 2 1 2 1 2 2 2 2 2 1 1 1 1 3 3 3 3 0 0 0 0 0 1 2 3 0 1 2 3 0 1 2 3 0 1 2 3 bandwidth 14 + 8 α bandwidth 4 + 16 α bandwidth 20 + 4 α bandwidth 36 40 35 Normalized bisection bandwidth 30 25 20 15 10 5 0 0 0.5 1 1.5 2 2.5 3 3.5 4 , the global connection bandwidth (local = 1) α

Recommend

More recommend