Performance Optimization for Cluster Computing - PDF document

Myrinet User's Group Conference 12-14 May 2002 Vienna, Austria Performance Optimization for Cluster Computing ������������� ������������������������������� ��������������������������� ����������������������� 1 Overview � ���������������������������� ���� !����"�#����� � ��$��%������������� � $�$� ����������������������������� ��������������������������� � &�����������������' ������������������������������ 2 Page 1

� $���������������� � ��������������� � (���)**��������+���,--+���� � .���(�����/--����������01�����2������ 3 Where Does the Performance Go? or Why Should I Care About the Memory Hierarchy? Processor-DRAM Memory Gap (latency) µProc 1000 CPU 60%/yr. “Moore’s Law” Performance (2X/1.5yr) 100 10 DRAM 9%/yr. DRAM 1 (2X/10 yrs) 2001 _ 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 _ Time 4 Page 2

Where Does the Performance Go? or Why Should I Care About the Memory Hierarchy? Processor-DRAM Memory Gap (latency) µProc 1000 CPU 60%/yr. “Moore’s Law” Performance (2X/1.5yr) 100 Processor-Memory Performance Gap: (grows 50% / year) 10 DRAM 9%/yr. DRAM 1 (2X/10 yrs) 2001 _ 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 _ Time 5 Optimizing Computation and Memory Use � ��������������������3������ � �(��������������)!4�����"5!�����*�����"�5�2(3 � $����������)�!/����"5!/�����*�����"5!6,-�2(3"�����7��6,-�28�.$*� � $�������9)�!/����"5!:������*�����"5!:+,0�;(3"�����7�,-1-�28�.$*� � ��(���)�!:����"5!/����*�����"5!1--�2(3"������������7�/:--�28�.$*� � $� ��0)�!:����"5!:������*�����"5!0<,�2(3"���������7�/,--�28�.$*� 6 Page 3

Optimizing Computation and Memory Use � ��������������������3������ � �(��������������)!4�����"5!�����*�����"�5�2(3 � $����������)�!/����"5!/�����*�����"5!6,-�2(3"�����7��6,-�28�.$*� � $�������9)�!/����"5!:������*�����"5!:+,0�;(3"�����7�,-1-�28�.$*� � ��(���)�!:����"5!/����*�����"5!1--�2(3"������������7�/:--�28�.$*� � $� ��0)�!:����"5!:������*�����"5!0<,�2(3"���������7�/,--�28�.$*� � .��������������) α 7�= � � )� � α α α :����������!/1�>����"������������:������?��������������� ���6,-�2����*�� ������@������/<--�2&*������ ���( � ��7� α α =�A���) 0����������!:9�>����"������������:������?��������������� α α ���6,-�2����*�� ������@������:,,-�2&*������ ���( 7 Optimizing Computation and Memory Use � ��������������������3������ � �(��������������)!4�����"5!�����*�����"�5�2(3 � $����������)�!/����"5!/�����*�����"5!6,-�2(3"�����7��6,-�28�.$*� � $�������9)�!/����"5!:������*�����"5!:+,0�;(3"�����7�,-1-�28�.$*� � ��(���)�!:����"5!/����*�����"5!1--�2(3"������������7�/:--�28�.$*� � $� ��0)�!:����"5!:������*�����"5!0<,�2(3"���������7�/,--�28�.$*� � .��������������) α 7�= � � )� � α α α :����������!/1�>����"������������:������?��������������� ���6,-�2����*�� ������@������/<--�2&*������ ���( � ��7� α α =�A���) 0����������!:9�>����"������������:������?��������������� α α ���6,-�2����*�� ������@������:,,-�2&*������ ���( � 2������������3����� � �(��������������)�!���� ���("�5�!���������" � $����������)�!0:�����"5!/00�2(3"�7�,0:�2>*�������7�11+,�2&*� � $�������9)�!0:�����"5!,00�2(3"�7�:/0:�2>*��������7�:11�2&*� � ��(���)�!19�����"5!/00�2(3"�7�/-19�2>*������������7�/00�2&*� 8 � $� ��0)�!/:6�����"5!/--�2(3"�7�/1--�2>*����������7�:--�2&*� Page 4

Memory Hierarchy � >�����������������������(�����������������������) � $��������(������� ��(�������(����������������������������(�� �(����������(������+ � $������������������(��������������������(�������������(������+ Processor Tertiary Storage Secondary (Disk/Tape) Storage Control (Disk) Level Main On-Chip Registers Remote 2 and 3 Memory Distributed Cache Datapath Cluster Cache (DRAM) Memory Memory (SRAM) 10,000,000s Speed (ns): 1s 10s 100s 10,000,000,000s (10s ms) (10s sec) Size (bytes): 100s 100,000 s Ks Ms 10,000,000 s (.1s ms) (10s ms) Gs Ts Motivation Self Adapting Numerical Software (SANS) Effort � .�����3�������� ��������=�������(����������� ���������������������(���(�������������������� �=����������(�����������3�����+� � ��������������������������� � B������������������������������������������� � ;�� ��������������������������� � 2���������������������������(��������������������� � ������������(���������������������(�������� � >�����������(���������������������C��������� ���������������������������D����+ � ���������������(����������������������(����������� �@�������� � ���������@����*����������������������������3��� �������� + 10 Page 5