Low-latency RNN inference using Cellular Batching Jinyang - PowerPoint PPT Presentation

Low-­‑latency ¡RNN ¡inference ¡using ¡ Cellular ¡Batching ¡ ¡ Jinyang ¡Li ¡ joint ¡work ¡with ¡Pin ¡Gao, ¡Lingfan ¡Yu, ¡Yongwei ¡Wu ¡ ¡ ¡ New ¡York ¡University ¡ ¡ ¡ ¡ ¡ ¡Tsinghua ¡University ¡

Lifecycle ¡of ¡DNN ¡deployments ¡ opGmal ¡weights ¡θ opt ¡ Training: ¡ [0.1, ¡0.2, ¡...] ¡ IteraGvely ¡modify ¡ weights ¡θ ¡ Use ¡fixed ¡weights ¡ ¡θ opt ¡ predicGons ¡ Inference ¡

DNN ¡Serving ¡must ¡provide ¡low ¡latency ¡ good ¡ throughput ¡ Goal ¡ Training: ¡ ¡ All ¡samples ¡are ¡ available ¡at ¡once ¡ Inference: ¡ good ¡throughput ¡ Goal ¡ & ¡low ¡latency ¡ Request ¡arrives ¡one ¡ at ¡a ¡Gme ¡

The ¡hardware ¡reality: ¡batching ¡ improves ¡performance ¡ Throughput ¡(reqs/sec) ¡ 900000 ¡ 600000 ¡ 300000 ¡ 0 ¡ 6000 ¡ Latency ¡(us) ¡ 4000 ¡ 2000 ¡ 0 ¡ 2 ¡ 16 ¡ 32 ¡ 128 ¡ 256 ¡ 512 ¡ 1024 ¡ 2048 ¡ 4096 ¡ 4 ¡ 8 ¡ 64 ¡ Batch ¡size ¡ Nvidia ¡Tesla ¡v100, ¡one ¡LSTM ¡step ¡(hidden ¡state ¡size ¡1024) ¡

Background ¡on ¡Recurrent ¡Neural ¡Network ¡ hidden ¡ ¡ state: ¡h ¡ h 2 ¡ h 1 ¡ h 0 ¡ unfold ¡ f θ f θ f θ f θ x 0 ¡ x 2 ¡ x 1 ¡ input: ¡x ¡

RNN’s ¡batching ¡challenge: ¡ ¡ chain-­‑RNNs ¡ • How ¡to ¡batch ¡chains ¡of ¡different ¡lengths? ¡ LSTM ¡ LSTM ¡ LSTM ¡ “fast” ¡ Volta ¡CPU ¡is... ¡ cell ¡ cell ¡ cell ¡ “Volta” ¡ “is” ¡ “GPU” ¡ LSTM ¡ LSTM ¡ I ¡love ¡... ¡ “california” ¡ cell ¡ cell ¡ “I” ¡ “love” ¡

State-­‑of-­‑the-­‑art ¡soluGon: ¡padding ¡ • TensorFlow, ¡MXNet, ¡PyTorch, ¡CNTK ¡batch ¡via ¡ padding ¡ LSTM ¡ LSTM ¡ LSTM ¡ “fast” ¡ Volta ¡CPU ¡is... ¡ cell ¡ cell ¡ cell ¡ “Volta” ¡ “is” ¡ “GPU” ¡ LSTM ¡ LSTM ¡ I ¡love ¡... ¡ “california” ¡ cell ¡ cell ¡ “I” ¡ “love” ¡

State-­‑of-­‑the-­‑art ¡soluGon: ¡padding ¡ • TensorFlow, ¡MXNet, ¡PyTorch, ¡CNTK ¡batch ¡via ¡ padding ¡ LSTM ¡ LSTM ¡ LSTM ¡ “fast” ¡ Volta ¡CPU ¡is... ¡ cell ¡ cell ¡ cell ¡ “california” ¡ I ¡love ¡... ¡ “Volta” ¡ “is” ¡ “GPU” ¡ xxxx ¡ “love” ¡ “I” ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

RNN’s ¡batching ¡challenge: ¡ ¡ TreeLSTM ¡ • How ¡to ¡batch ¡trees ¡of ¡different ¡structures? ¡ LSTM ¡ LSTM ¡ cell ¡ cell ¡ LSTM ¡ LSTM ¡ LSTM ¡ LSTM ¡ leaf ¡ leaf ¡ leaf ¡ cell ¡ “cats” ¡ “sleep” ¡ LSTM ¡ LSTM ¡ “kids” ¡ leaf ¡ leaf ¡ “love” ¡ “dogs” ¡

State-­‑of-­‑the-­‑art ¡soluGons: ¡graph ¡batching ¡ • TensorFlow-­‑Fold ¡and ¡DyNet ¡merge ¡dataflow ¡ graphs ¡ LSTM ¡ LSTM ¡ cell ¡ cell ¡ LSTM ¡ LSTM ¡ LSTM ¡ LSTM ¡ leaf ¡ leaf ¡ leaf ¡ cell ¡ “cats” ¡ “sleep” ¡ LSTM ¡ LSTM ¡ “kids” ¡ leaf ¡ leaf ¡ “love” ¡ “dogs” ¡

State-­‑of-­‑the-­‑art ¡soluGons: ¡graph ¡batching ¡ • TensorFlow-­‑Fold ¡and ¡DyNet ¡merge ¡dataflow ¡ graphs ¡ LSTM ¡ cell ¡ LSTM ¡ LSTM ¡ leaf ¡ cell ¡ LSTM ¡ LSTM ¡ “kids” ¡ leaf ¡ leaf ¡ “love” ¡ “dogs” ¡ “sleep” ¡ “cats” ¡

ExisGng ¡batching ¡techniques ¡do ¡not ¡ work ¡well ¡for ¡RNNs ¡ • Long ¡delay ¡ – New ¡request ¡has ¡to ¡wait ¡for ¡current ¡batch ¡to ¡finish ¡ • SubopGmal ¡Throughput ¡ – Padding ¡wastes ¡computaGon ¡ – Not ¡every ¡operator ¡is ¡batched ¡thoroughly ¡in ¡the ¡ merged ¡graph. ¡

Talk ¡outline ¡ • MoGvaGon: ¡ ¡ – ExisGng ¡batching ¡techniques ¡incur ¡long ¡delay ¡for ¡RNNs ¡ • Our ¡approach: ¡cellular ¡batching ¡ • Batchmaker ¡RNN ¡inference ¡system ¡ • EvaluaGon ¡

Our ¡approach: ¡cellular ¡batching ¡ • The ¡insight: ¡RNN ¡is ¡made ¡up ¡of ¡(a ¡few ¡types ¡of) ¡ cells ¡that ¡are ¡repeated ¡many ¡Gmes ¡ ü Cellular ¡batching: ¡make ¡batching ¡decisions ¡ before ¡execuGng ¡each ¡cell. ¡ X Graph ¡batching ¡or ¡padding: ¡make ¡batching ¡ decisions ¡before ¡execuGng ¡requests. ¡

Graph ¡batching ¡wastes ¡batching ¡ opportunity ¡ execuGng ¡ finished ¡ Not ¡yet ¡executed ¡

Graph ¡batching ¡wastes ¡batching ¡ opportunity ¡ execuGng ¡ finished ¡ Not ¡yet ¡executed ¡

Graph ¡batching ¡wastes ¡batching ¡ opportunity ¡ execuGng ¡ finished ¡ Not ¡yet ¡executed ¡

Graph ¡batching ¡wastes ¡batching ¡ opportunity ¡ execuGng ¡ finished ¡ Not ¡yet ¡executed ¡

Graph ¡batching ¡wastes ¡batching ¡ opportunity ¡ execuGng ¡ finished ¡ Not ¡yet ¡executed ¡

Cellular ¡batching ¡reduces ¡waiGng ¡ execuGng ¡ finished ¡ Not ¡yet ¡executed ¡

Cellular ¡batching ¡reduces ¡waiGng ¡ execuGng ¡ finished ¡ Not ¡yet ¡executed ¡

Cellular ¡batching ¡reduces ¡waiGng ¡ execuGng ¡ finished ¡ Not ¡yet ¡executed ¡

Cellular ¡batching ¡reduces ¡waiGng ¡ execuGng ¡ finished ¡ Not ¡yet ¡executed ¡

Cellular ¡batching ¡reduces ¡waiGng ¡ execuGng ¡ finished ¡ Not ¡yet ¡executed ¡

Performance ¡challenges ¡in ¡realizing ¡ cellular ¡batching ¡ • Must ¡support ¡mulGple ¡types ¡of ¡cells ¡and ¡>1 ¡GPUs ¡ – Only ¡cells ¡of ¡the ¡same ¡type ¡can ¡be ¡batched ¡ ¡together ¡ – Different ¡cell ¡types ¡have ¡different ¡priority ¡ • Balance ¡batching ¡opportunity ¡and ¡overhead ¡ – Cost ¡of ¡scheduling ¡is ¡non-­‑trivial ¡ – Adding ¡new ¡requests ¡to ¡a ¡batch ¡incurs ¡memory ¡copy ¡ • Decisions ¡must ¡be ¡made ¡asynchronously ¡with ¡ execuGon ¡

Talk ¡outline ¡ • MoGvaGon: ¡ ¡ – ExisGng ¡batching ¡techniques ¡incur ¡long ¡delay ¡for ¡RNNs ¡ • Our ¡approach: ¡cellular ¡batching ¡ • Batchmaker ¡RNN ¡inference ¡system ¡ • EvaluaGon ¡

Batchmaker: ¡system ¡architecture ¡ User-­‑defined ¡ cell ¡definiGon ¡ unfolding ¡logic ¡ (saved ¡by ¡MXNet/TensorFlow) ¡ initalizaGon ¡ requests ¡ predicGons ¡

How ¡the ¡scheduler ¡makes ¡decisions ¡ • Preserve ¡Locality ¡ – prefer ¡batching ¡cells ¡of ¡the ¡same ¡set ¡of ¡request ¡ – prefer ¡sGcking ¡to ¡the ¡same ¡GPU ¡for ¡the ¡same ¡ request ¡ • Allow ¡Priority ¡ – decoder ¡cells ¡> ¡encoder ¡cells ¡ – TreeLSTM ¡internal ¡cells ¡> ¡leaf ¡cell ¡ • Schedule ¡several ¡dependent ¡batches ¡at ¡a ¡Gme ¡

Priority ¡and ¡locality ¡in ¡scheduling ¡

Priority ¡and ¡locality ¡in ¡scheduling ¡

Priority ¡and ¡locality ¡in ¡scheduling ¡

Priority ¡and ¡locality ¡in ¡scheduling ¡

Priority ¡and ¡locality ¡in ¡scheduling ¡

Priority ¡and ¡locality ¡in ¡scheduling ¡

Priority ¡and ¡locality ¡in ¡scheduling ¡

ImplementaGon ¡opGmizaGons ¡ • Dynamically ¡adjust ¡the ¡batch ¡size ¡(up ¡to ¡the ¡ configured ¡maximum) ¡ – Form ¡and ¡execute ¡a ¡batch ¡whenever ¡GPU ¡is ¡idle ¡ • Asynchronously ¡wait ¡for ¡GPU ¡kernel ¡compleGon ¡ – GPU ¡driver’s ¡asynchronous ¡callback ¡is ¡too ¡slow ¡ – Add ¡a ¡signaling ¡kernel ¡at ¡the ¡end ¡of ¡all ¡cell ¡kernels ¡ • update ¡a ¡variable ¡in ¡host ¡memory ¡

Talk ¡outline ¡ • MoGvaGon: ¡ ¡ – ExisGng ¡batching ¡techniques ¡incur ¡long ¡delay ¡for ¡RNNs ¡ • Our ¡approach: ¡cellular ¡batching ¡ • Batchmaker ¡RNN ¡inference ¡system ¡ • EvaluaGon ¡

EvaluaGon ¡quesGons ¡ • How ¡does ¡Batchmaker ¡compare ¡against ¡ baseline ¡systems? ¡ • Where ¡does ¡Batchmaker’s ¡performance ¡ advantage ¡come ¡from? ¡