Variation Among Processors Under Turbo-Boost Bilge Acun, - PowerPoint PPT Presentation

Variation ¡Among ¡Processors ¡ Under ¡Turbo-­‑Boost ¡ Bilge ¡Acun, ¡Ph.D. ¡Candidate ¡ Department ¡of ¡Computer ¡Science ¡ University ¡of ¡Illinois ¡at ¡Urbana-­‑Champaign ¡ This ¡talk ¡is ¡based ¡on ¡the ¡publica3on: ¡ Bilge ¡Acun, ¡Phil ¡Miller, ¡Laxmikant ¡Kale. ¡ICS ¡2016. ¡ 1 ¡ “Varia3on ¡Among ¡Processors ¡under ¡Turbo ¡Boost ¡in ¡HPC ¡Systems”. ¡ ¡

Motivation: ¡Performance ¡Variation ¡ 16% ¡Performance ¡ Only ¡1% ¡VariaEon ¡on ¡ VariaEon ¡on ¡Edison, ¡ Blue ¡Waters! ¡ Cab, ¡Stampede! ¡ ��������������������������� ���� �������������������� ���� �������� Acun, ¡Miller, ¡Kale. ¡“Varia3on ¡ Among ¡Processors ¡under ¡Turbo ¡ Boost ¡in ¡HPC ¡Systems” ¡ ¡[ICS ¡2016] ¡ ���� ��� ���� ������ ���� ���� ���� ���� ���� �� ���� ���� ���� ���� ���� ���� ���� ���� 2 ¡ ������� • 16K ¡cores ¡running ¡local ¡DGEMM ¡kernel ¡of ¡Intel-­‑MKL ¡

What ¡is ¡Dynamic ¡Overclocking? ¡ ¡ • Processor ¡changes ¡the ¡frequency ¡opportunis3cally ¡since ¡it ¡ cannot ¡run ¡at ¡the ¡highest ¡limit ¡all ¡the ¡3me. ¡ • E.g. ¡Intel ¡Turbo ¡Boost ¡Technology ¡ • Factors ¡effec3ng ¡the ¡dynamic ¡frequency: ¡ • Type ¡of ¡the ¡workload ¡ Acun, ¡Miller, ¡Kale. ¡“Varia3on ¡ Among ¡Processors ¡under ¡Turbo ¡ Boost ¡in ¡HPC ¡Systems” ¡ ¡[ICS ¡2016] ¡ • Number ¡of ¡ac3ve ¡cores ¡ • Current ¡consump3on ¡ �������������������������� • Power ¡consump3on ¡ ��� • Temperature ¡ ��������������� ��� 3 ¡ �������� ���� ���� �� ���� ���� ���� ���� ���� ����������

Motivation: ¡Frequency ¡Variation ¡ ������������������������������ ���� ������ ��������������� ��� ��������������� ���� �������������� �������� ��������������� ���� Acun, ¡Miller, ¡Kale. ¡“Varia3on ¡ Among ¡Processors ¡under ¡Turbo ¡ Boost ¡in ¡HPC ¡Systems” ¡ ¡[ICS ¡2016] ¡ ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� �� ���� ���� ��������������� 4 ¡ Edison: ¡Intel ¡Ivy ¡Bridge ¡ Stampede, ¡Cab: ¡Intel ¡Sandy ¡Bridge ¡

• Distribu3on ¡of ¡steady-­‑state ¡frequencies ¡on ¡Edison ¡ Motivation: ¡Frequency ¡Variation ¡ Acun, ¡Miller, ¡Kale. ¡“Varia3on ¡ Among ¡Processors ¡under ¡Turbo ¡ 5 ¡ Boost ¡in ¡HPC ¡Systems” ¡ ¡[ICS ¡2016] ¡

Why ¡there ¡is ¡variation? ¡ ¡ ���������������������������� ���� ���� ��� ��� ��� ��� ��� ��� ��� ��������������� ��������������� ��� ���� Acun, ¡Miller, ¡Kale. ¡“Varia3on ¡ Among ¡Processors ¡under ¡Turbo ¡ Boost ¡in ¡HPC ¡Systems” ¡ ¡[ICS ¡2016] ¡ ��� ���� ��� ���� �� �� ��� ���� �� �� ��� �� ���� � �� �� �� �� 6 ¡ ��������

Is ¡it ¡caused ¡by ¡temperature? ¡ ������������������������������������� ����������������������������������� ������������������������������ ���� ������� ����������� ��� Acun, ¡Miller, ¡Kale. ¡“Varia3on ¡ Among ¡Processors ¡under ¡Turbo ¡ Boost ¡in ¡HPC ¡Systems” ¡ ¡[ICS ¡2016] ¡ ����������� ����������� ��� ����������� ��� ��� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �������������� �������������� 7 ¡

Is ¡it ¡caused ¡by ¡temperature? ¡ ������������������������������������� ����������������������������������� ������������������������������ ���� ������� ����������� ��� ����������� Acun, ¡Miller, ¡Kale. ¡“Varia3on ¡ Among ¡Processors ¡under ¡Turbo ¡ Boost ¡in ¡HPC ¡Systems” ¡ ¡[ICS ¡2016] ¡ ����������� ��� ����������� ��� ��� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �������������� �������������� 8 ¡

Is ¡it ¡caused ¡by ¡power? ¡ Acun, ¡Miller, ¡Kale. ¡“Varia3on ¡ Among ¡Processors ¡under ¡Turbo ¡ Boost ¡in ¡HPC ¡Systems” ¡ ¡[ICS ¡2016] ¡ { Fast ¡processors’ ¡power ¡are ¡ similar ¡to ¡uniform ¡ Slow ¡and ¡variable ¡processors ¡ have ¡higher ¡power ¡ distribu3on ¡ 9 ¡

What ¡can ¡we ¡do ¡about ¡it? ¡ 1. Disable ¡Turbo-­‑Boost ¡ 2. Replacing ¡the ¡slow ¡chips ¡ 3. Selec3vely ¡idling ¡the ¡cores ¡ 4. Dynamic ¡load ¡balancing ¡ Acun, ¡Miller, ¡Kale. ¡“Varia3on ¡ Among ¡Processors ¡under ¡Turbo ¡ Boost ¡in ¡HPC ¡Systems” ¡ ¡[ICS ¡2016] ¡ 10 ¡

Solution ¡1: ¡Disable ¡Turbo-­‑Boost? ¡ Acun, ¡Miller, ¡Kale. ¡“Varia3on ¡ Among ¡Processors ¡under ¡Turbo ¡ Boost ¡in ¡HPC ¡Systems” ¡ ¡[ICS ¡2016] ¡ u Naïve-­‑DGEMM ¡slows ¡down ¡more ¡compared ¡to ¡MKL ¡because ¡it ¡was ¡running ¡at ¡ higher ¡frequency ¡with ¡Turbo ¡Boost. ¡ 11 ¡ u Jacobi2D ¡suffers ¡less ¡from ¡disabling ¡Turbo-­‑Boost ¡because ¡it’s ¡memory ¡intensive. ¡

Solution ¡2: ¡Replace ¡the ¡chips? ¡ ������������������������������������ ��� ��� ����������� Acun, ¡Miller, ¡Kale. ¡“Varia3on ¡ Among ¡Processors ¡under ¡Turbo ¡ Boost ¡in ¡HPC ¡Systems” ¡ ¡[ICS ¡2016] ¡ �� ��������� �� ����������� �� �������� �� ������ �� �� ���� ���� ���� ���� ���� ���� ���� ���� ���� �������������������������� 12 ¡

Solution ¡3: ¡Idling ¡the ¡cores? ¡ �������������������������������� ������ ��������������������� ��������� ������ Acun, ¡Miller, ¡Kale. ¡“Varia3on ¡ Among ¡Processors ¡under ¡Turbo ¡ Boost ¡in ¡HPC ¡Systems” ¡ ¡[ICS ¡2016] ¡ ����������� ������ �������� ������ ������ ������ ������ ������ ������ ������ �� ��� ���� ���� ���� ���� ���� ���� ���� ���� 13 ¡ ������������������������������������