Tensor networks and coding theory: Polar and branching-MERA - PowerPoint PPT Presentation

Tensor ¡networks ¡and ¡coding ¡theory: ¡ Polar ¡and ¡branching-­‑MERA ¡codes ¡ Andy ¡Ferris ¡ ICFO ¡– ¡Ins@tute ¡of ¡Photonic ¡Science ¡(Spain) ¡ Max ¡Planck ¡Ins@tute ¡for ¡Quantum ¡Op@cs ¡(Germany) ¡ with ¡ David ¡Poulin ¡ Université ¡de ¡Sherbrooke ¡(Canada) ¡ ¡

Why ¡tensor ¡networks? ¡ • Tensors ¡networks ¡are ¡tools ¡for ¡efficiently ¡ represen@ng ¡large ¡objects ¡ – Example ¡1: ¡Can ¡ decompose ¡a ¡large ¡object , ¡like ¡a ¡ quantum ¡many-­‑body ¡wavefunc@on, ¡as ¡a ¡product ¡ of ¡small ¡tensors ¡(e.g. ¡MPS/DMRG, ¡PEPS, ¡MERA). ¡ – Example ¡2: ¡Tensor ¡products ¡are ¡ linear ¡and ¡are ¡ perfect ¡for ¡ represen5ng ¡circuits ¡and ¡channels ¡

Tensor ¡network ¡diagrams ¡ Tensor ¡with ¡n ¡indices ¡is ¡drawn ¡with ¡n ¡“legs” ¡ T v ¡ M ¡ Tensor ¡contrac@ons ¡are ¡represented ¡by ¡joining ¡legs ¡ M v u v ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡dot-­‑product ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡matrix-­‑vector ¡product ¡

Encoding ¡ • Encoding: ¡reversible/unitary ¡circuit ¡with ¡k ¡ data ¡bits ¡and ¡n ¡– ¡k ¡“frozen” ¡bits ¡(set ¡to ¡0, ¡say) ¡ (a) Frozen ¡ bits ¡

Noisy ¡channels ¡ Each ¡bit ¡(qubit) ¡channel ¡will ¡undergo ¡ uncorrelated ¡noise. ¡ ¡ (a)

The ¡classical ¡decoding ¡problem ¡ Find ¡the ¡inputs ¡ ¡ ¡ ¡ ¡ ¡given ¡the ¡measurements ¡ y i x i (a) Unknown ¡ Frozen ¡ values ¡ bits ¡ Measurements ¡

Many ¡types ¡of ¡codes ¡and ¡circuits… ¡ – Repe@@on ¡codes ¡ – Convolu5onal ¡codes ¡(MPS) ¡ Tree ¡ MPS ¡ – Concatenated ¡codes ¡(tree) ¡ (a) (b) (c – LDPC ¡codes ¡ – Topological ¡(MERA/PEPS) ¡ – Polar ¡code ¡(Branching ¡MERA) ¡ ??? ¡ (c) (d) MERA ¡

Many ¡types ¡of ¡decoders… ¡ • The ¡“op@mal” ¡decoder ¡is ¡maximum ¡likelihood ¡ – Given ¡the ¡measurements ¡and ¡error ¡model, ¡what ¡is ¡ the ¡most ¡likely ¡message ¡sent? ¡(in ¡general: ¡HARD) ¡ • Many ¡other ¡“approximate” ¡decoders ¡ – Bitwise ¡sequen@al ¡/ ¡successive ¡cancela@on ¡ • Find ¡most ¡likely ¡first ¡bit, ¡then ¡second ¡given ¡first, ¡etc… ¡ – List ¡decoding, ¡belief ¡propaga@on, ¡renormaliza@on ¡ group, ¡etc. ¡

Successive ¡cancela@on ¡ • One ¡bit ¡at ¡a ¡@me, ¡from-­‑right-­‑to-­‑lec. ¡ (b) ? ? ?

The ¡Polar ¡Code ¡ • Arikan ¡introduced ¡the ¡“polar” ¡ code ¡in ¡2008/2009. ¡ ¡ – “polar” ¡for ¡ channel ¡polariza-on ¡ Erdal ¡Arikan ¡ (Bilkent, ¡Turkey) ¡ • First ¡code ¡that ¡is ¡both: ¡ – Provably ¡capacity ¡achieving ¡for ¡ generic ¡symmetric ¡channels ¡ – Efficient ¡to ¡decode ¡(cost ¡= ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ n log n E. ¡Arikan, ¡IEEE ¡Trans. ¡on ¡Inf. ¡Theory ¡ 55 , ¡3051 ¡(2009). ¡ ¡

Channel ¡Polariza@on ¡ • Using ¡successive ¡cancela@on ¡(sequen@al) ¡ decoding, ¡the ¡polar ¡code ¡polarizes ¡each ¡input ¡ channel ¡to ¡be ¡very ¡“good” ¡or ¡very ¡“bad” ¡ • Take ¡2-­‑bit ¡CNOT ¡ x 1 x 2 ¡ First ¡decode ¡ x 2 Then ¡decode ¡ x 1 W W given ¡knowledge ¡of ¡ ¡ x 2 y 2 y 1

Channel ¡Polariza@on ¡ Step ¡1: ¡determine ¡ ? whether ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡= ¡0 ¡or ¡1 ¡is ¡ x 2 x 2 more ¡likely, ¡given ¡ ¡ ¡ ¡ ¡ ¡, ¡ y 1 ¡ ¡ ¡ ¡ ¡ ¡and ¡ ¡ ¡ ¡ ¡ ¡. ¡ W y 2 ¡ P ( x 2 | y 1 , y 2 ) ¡ W W ( ¡ ¡ ¡ ¡ ¡ ¡is ¡unknown, ¡ x 1 assumed ¡to ¡be ¡in ¡ y 1 y 2 50/50 ¡mixture) ¡ CNOT ¡acts ¡to ¡copy ¡noise ¡from ¡unknown ¡ ¡ ¡ ¡ ¡ ¡. ¡ x 1

Channel ¡Polariza@on ¡ Step ¡2: ¡determine ¡ whether ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡= ¡0 ¡or ¡1 ¡is ¡ x 1 x 2 x 1 more ¡likely, ¡given ¡ ¡ ¡ ¡ ¡ ¡, ¡ y 1 ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡ ¡ ¡ ¡and ¡previously ¡ y 2 W determined ¡ ¡ ¡ ¡ ¡ ¡. ¡ x 2 W W P ( x 1 | x 2 , y 1 , y 2 ) y 1 y 2 CNOT ¡creates ¡two ¡copies ¡of ¡ ¡ ¡ ¡ ¡ ¡to ¡protect ¡from ¡noise ¡ x 1

Channel ¡Polariza@on ¡ Step ¡2 ¡is ¡always ¡more ¡ x 1 x 2 accurate ¡than ¡step ¡1. ¡ ¡ I ( x 1 | x 2 ) ≥ I ( x 2 ) ¡ BUT ¡error ¡in ¡step ¡1 ¡could ¡ W W cause ¡an ¡error ¡in ¡step ¡2. ¡ Freeze ¡the ¡value ¡of ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ x 2 and ¡use ¡ ¡ ¡ ¡ ¡ ¡ ¡as ¡data. ¡ y 1 y 2 x 1 Summary: ¡ ¡ ¡ ¡ ¡ ¡is ¡a ¡“good” ¡channel, ¡ ¡ ¡ ¡ ¡ ¡ ¡is ¡“bad” ¡channel ¡ x 1 x 2

Channel ¡Polariza@on ¡ x 1 x 2 x 3 x 4 W W W W y 1 y 2 y 3 y 4

Channel ¡Polariza@on ¡ x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 W W W W W W W W y 1 y 2 y 3 y 4 y 5 y 6 y 7 y 8

Channel ¡Polariza@on ¡ Channels ¡either ¡become ¡“good” ¡or ¡“bad”. ¡Rate ¡= ¡0.5 ¡ Channel reliability for polar code of 128 bits 1 0.8 0.6 I 0.4 0.2 0 20 40 60 80 100 120 Channel

Channel ¡Polariza@on ¡ Channels ¡either ¡become ¡“good” ¡or ¡“bad”. ¡Rate ¡= ¡0.5 ¡ Channel polarization 1 64 bits 0.9 1024 bits 0.8 0.7 0.6 0.5 I 0.4 0.3 0.2 0.1 0 0 0.2 0.4 0.6 0.8 1 Channel (sorted)

Decoding ¡the ¡Polar ¡code ¡ • Most ¡the ¡tensors ¡cancel ¡under ¡successive ¡ cancella@on ¡decoding. ¡ ? ? ? ? ? ? ? x 8 W W W W W W W W 0 0 1 1 1 1 0 0

Decoding ¡the ¡Polar ¡code ¡ • Most ¡the ¡tensors ¡cancel ¡under ¡successive ¡ cancella@on ¡decoding. ¡ ? ? ? ? ? ? ? x 8 ¡ ¡ ¡ ¡ W W W W W W W W ¡ 0 0 1 1 1 1 0 0 • Cost ¡to ¡calculate ¡is ¡ ¡ O ( n )

Decoding ¡the ¡Polar ¡code ¡ • Most ¡the ¡tensors ¡cancel ¡under ¡successive ¡ cancella@on ¡decoding. ¡ ? ? ? ? ? ? 0 x 7 W W W W W W W W 0 0 1 1 1 1 0 0

Decoding ¡the ¡Polar ¡code ¡ • Most ¡the ¡tensors ¡cancel ¡under ¡successive ¡ cancella@on ¡decoding. ¡ ? ? ? ? ? 0 0 x 6 W W W W W W W W 0 0 1 1 1 1 0 0

Decoding ¡the ¡Polar ¡code ¡ • Most ¡the ¡tensors ¡cancel ¡under ¡successive ¡ cancella@on ¡decoding. ¡ ? ? ? ? 0 0 0 x 5 W W W W W W W W 0 0 1 1 1 1 0 0

Decoding ¡the ¡Polar ¡code ¡ • Most ¡the ¡tensors ¡cancel ¡under ¡successive ¡ cancella@on ¡decoding. ¡ ? ? ? 0 0 0 1 x 4 W W W W W W W W 0 0 1 1 1 1 0 0

Decoding ¡the ¡Polar ¡code ¡ • Most ¡the ¡tensors ¡cancel ¡under ¡successive ¡ cancella@on ¡decoding. ¡ ? ? ? 1 x 4 ¡ ¡ ¡ ¡ W W W W W W W W ¡ 0 0 1 1 1 1 0 0 • Cost ¡to ¡calculate ¡is ¡ ¡ O ( n )

Decoding ¡the ¡Polar ¡code ¡ • Most ¡the ¡tensors ¡cancel ¡under ¡successive ¡ cancella@on ¡decoding. ¡ ? ? 0 0 0 0 x 3 1 W W W W W W W W 0 0 1 1 1 1 0 0

Decoding ¡the ¡Polar ¡code ¡ • Most ¡the ¡tensors ¡cancel ¡under ¡successive ¡ cancella@on ¡decoding. ¡ ? 0 0 0 0 0 1 x 2 W W W W W W W W 0 0 1 1 1 1 0 0

Decoding ¡the ¡Polar ¡code ¡ • Most ¡the ¡tensors ¡cancel ¡under ¡successive ¡ cancella@on ¡decoding. ¡ 0 1 0 0 0 0 1 x 1 W W W W W W W W 0 0 1 1 1 1 0 0

Decoding ¡the ¡Polar ¡code ¡ • Most ¡the ¡tensors ¡cancel ¡under ¡successive ¡ cancella@on ¡decoding. ¡ 0 0 1 0 0 0 0 1 ¡ ¡ W W W W W W W W 0 0 1 1 1 1 0 0 • Single ¡bit ¡costs ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡but ¡all ¡bits ¡in ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡! ¡ O ( n log n ) O ( n )

Performance ¡(exis@ng ¡results) ¡ 0 10 AWGN ¡channel, ¡ ¡ 256 ¡bits, ¡ − 1 10 rate ¡1/2 ¡ − 2 10 FER − 3 10 − 4 10 Polar(256,128), nonsystematic Polar(256,128), systematic E. ¡Arikan, ¡IEEE ¡ ¡ Communica@ons ¡Lejers ¡ ¡ − 1 0 1 2 3 4 5 E b /N 0 (dB) 15 , ¡860 ¡(2011). ¡