CompSci 514: Computer Networks Lecture 17: Datacenter Network - PowerPoint PPT Presentation

CompSci 514: Computer Networks Lecture 17: Datacenter Network Architectures Xiaowei Yang

Overview • Motivation • Challenges • The FatTree architecture

����������� � � ����������������������������������� � � ������������������������������� ���������������� � � ������������������������������������� � � �������������������������������������� � � ����������������������������������� ����������������������������� � � ���������������������������������� � � ������������������ � � ������������������������������� � � ���������������������

Two design choices • Specialized hardware and communication protocols – InfiniBand, Myrinet – Cons: expensive, may not support TCP/IP • Commodity Ethernet switches and routes – Aggregate cluster bandwidth scales poorly with cluster size – High bandwidth incurs non-linear cost

������������������������������� � � ����������������������������� ��������������������� � � ���������������������������� ����� �������������������������� � � ����������������������������� ���� ��������������������� � � ����������������������������� �������������������������� ���� � � ����������������������������� ��������������������������� � � ���������������������������������������������������� ������� �

����������������������������� ���� �������� ���� ������� �������������������� ������� ���� ������������������� ���� ���� ��� ��� �� ����� ������ ������ ������ ������ ������ � � �����������������������

FatTree Design Goals Scalable interconnection bandwidth: it should be possible for an • arbitrary host in the data center to communicate with any other host in the network at the full bandwidth of its local network interface. Economies of scale: just as commodity personal computers became • the basis for large-scale computing environments, we hope to leverage the same economies of scale to make cheap off-the-shelf Ethernet switches the basis for large- scale data center networks. Backward compatibility: the entire system should be back- ward • compatible with hosts running Ethernet and IP. That is, existing data centers, which almost universally leverage com- modity Ethernet and run IP, should be able to take advantage of the new interconnect architecture with no modifications.

Components Hierarchical design Fat-tree Cost/ Cost/ Year 10 GigE Hosts GigE Hosts GigE GigE 2002 28-port 4,480 $25.3K 28-port 5,488 $4.5K 2004 32-port 7,680 $4.4K 48-port 27,648 $1.6K 2006 64-port 10,240 $2.1K 48-port 27,648 $1.2K 2008 128-port 20,480 $1.8K 48-port 27,648 $0.3K Table 1: The maximum possible cluster size with an oversub- scription ratio of 1:1 for different years. • GigE switches

���������������������������� ����������������� ����� ������ ������ ������ ������ � � ������������������������������������

���������������������������� ����������������� ����� ������ ������ ������ ������ � � ��������������������������������������� • � ��������������������������� • � �����������������������������������������������������

���������������������������� ����������������� ����� ������ ������ ������ ������ � � ��������������������������������������������������� �������������������������� • � ���������������������������������� • �

���������������������������� ����������������� ����� ������ ������ ������ ������ � � ��� 2 ����� ����������������������� � 3 ��� ������ ���������������������������������������������������� • � � � ���������������������������������������������������

���������������������������� ����������������� ����� ������ ������ ������ ������ � � �������������������������������������������������������� � � ����������������������������������������������������������� ���������������������������� ��

����������� � � �������� � � ������������������������������������������������������� ���������������������������������������� ����������������������������������������������� � � ��������������������������������������������������� ����������������������������������������������� � � ������������������������� � � ��������� ��� 2 ���� �������������� � 3 ��� ���������������� ��������������������� � 3 ��� �������������������������������������������������� ������������������������

����������������� �������������������������������������������������� � � ���������������������� ���� ������������������ ������������������������������ � � �� � ������������������������� �� � ������������������� �� � ����������������������� ������������������������������������ � �