Visualiza(on of Memory Performance Paul Rosen Research - PowerPoint PPT Presentation

Visualiza(on ¡of ¡Memory ¡Performance ¡ Paul ¡Rosen ¡ Research ¡Assistant ¡Professor ¡ Scien(fic ¡Compu(ng ¡and ¡Imaging ¡Ins(tute ¡ School ¡of ¡Compu(ng ¡ University ¡of ¡Utah ¡

High ¡Throughput ¡Compu(ng ¡ Moore’s Law O PTIMIZING M EMORY A CCESS IS I NCREASINGLY I MPORTANT ! Source: ¡NVIDIA ¡

Visualiza(on ¡of ¡SoFware ¡Memory ¡Behavior ¡ • Challenging ¡to ¡ analyze ¡ • Huge ¡quan(ty ¡of ¡ transac(ons ¡ • Complex ¡ interconnected ¡ behavior ¡

Available ¡Data ¡ • Hardware ¡Performance ¡Counters ¡ • Cache ¡hits/misses, ¡TLB ¡hits/misses, ¡etc. ¡ • Instruc(on ¡sampling ¡ • Low ¡resolu(on, ¡manageable ¡quan(ty ¡of ¡data ¡ ¡ • Memory ¡Reference ¡Trace ¡ • Richer, ¡more ¡versa(le ¡data ¡source ¡ • Incomplete ¡informa(on ¡requiring ¡addi(onal ¡analysis ¡(e.g. ¡ hardware ¡simula(on) ¡

Memory ¡Reference ¡Trace ¡ . . . W 0x7fffac539ed8 W 0x7fffac539ed0 W 0x7fffac539ecc W 0x7fffac539ec8 R 0x7fffac539ecc R 0x7fffac539ec8 W 0x7fffac539eb8 W 0x7fffac539eb0 . . . ¡

Abstract ¡Visualiza(on ¡of ¡Run(me ¡Memory ¡Behavior ¡ Challenge: ¡see ¡the ¡mo(on ¡of ¡ • data ¡between ¡cache ¡levels ¡ Layout ¡data ¡in ¡concentric ¡ • rings ¡represen(ng ¡levels ¡of ¡ memory ¡hierarchy ¡ Use ¡our ¡ability ¡to ¡iden(fy ¡ • good/bad ¡memory ¡access ¡ paXerns ¡ A.N.M ¡Imroz ¡Choudhury ¡and ¡ Paul ¡ Rosen . ¡Abstract ¡visualiza(on ¡of ¡run(me ¡memory ¡behavior. ¡In ¡ 6th ¡IEEE ¡Interna+onal ¡Workshop ¡on ¡Visualizing ¡So8ware ¡for ¡Understanding ¡ and ¡Analysis , ¡VisSoF, ¡pages ¡22-­‑29, ¡2011. ¡

Abstract ¡Visualiza(on ¡of ¡Run(me ¡Memory ¡Behavior ¡ Naïve Matrix Multiply Blocked Matrix Multiply A.N.M ¡Imroz ¡Choudhury ¡and ¡ Paul ¡ Rosen . ¡Abstract ¡visualiza(on ¡of ¡run(me ¡memory ¡behavior. ¡In ¡ 6th ¡IEEE ¡Interna+onal ¡Workshop ¡on ¡Visualizing ¡So8ware ¡for ¡Understanding ¡ and ¡Analysis , ¡VisSoF, ¡pages ¡22-­‑29, ¡2011. ¡

T OPOLOGICAL A NALYSIS AND V ISUALIZATION OF C YCLICAL M EMORY B EHAVIOR • Challenge: ¡iden(fy ¡repe((ve ¡ memory ¡ac(vity ¡ • Use ¡topological ¡analysis ¡to ¡ iden(fy ¡ similar ¡features ¡that ¡ repeat ¡ • Works ¡at ¡many ¡scales ¡without ¡ any ¡parameter ¡tuning ¡ Visualiza+on ¡Symposium , ¡PacificVis, ¡pages ¡9 ¡-­‑16, ¡2012. ¡ A.N.M. ¡Imroz ¡Choudhury, ¡Bei ¡Wang, ¡ Paul ¡ Rosen , ¡and ¡Valerio ¡Pascucci. ¡Topological ¡analysis ¡and ¡visualiza(on ¡of ¡cyclical ¡behavior ¡in ¡memory ¡reference ¡traces. ¡In ¡ IEEE ¡Pacific ¡

Bubble ¡Sort ¡

Bubble ¡Sort ¡

A Visual Approach to Investigating Memory Behavior in CUDA Challenge: ¡many ¡threads ¡ • with ¡interconnected ¡ behavior ¡ Use ¡a ¡drill-­‑down ¡ • approach ¡to ¡inves(gate ¡ performance ¡across ¡ 100k’s ¡of ¡threads ¡ See ¡memory ¡paXerns ¡ • that ¡result ¡in ¡bad ¡ performance ¡ Paul ¡ Rosen . ¡A ¡visual ¡approach ¡to ¡inves(ga(ng ¡shared ¡and ¡global ¡memory ¡behavior ¡of ¡cuda ¡kernels. ¡In ¡ Computer ¡Graphics ¡Forum ¡(EuroVis) , ¡2013. ¡

Matrix ¡Transpose ¡

Challenges ¡ • Performance ¡Counters ¡ • Most ¡accurate ¡informa(on ¡about ¡performance ¡ • Detail ¡is ¡limited ¡ • Memory ¡Reference ¡Traces ¡ • Lack ¡of ¡hardware ¡valida(on ¡ • Poten(ally ¡rich ¡source ¡of ¡informa(on ¡ • Size ¡of ¡data ¡difficult ¡to ¡visualize ¡

T HANK ¡Y OU ¡