Channel Upgradation for Non-Binary Input Alphabets and MACs Uzi - PowerPoint PPT Presentation

Channel Upgradation for Non-Binary Input Alphabets and MACs Uzi Pereg and Ido Tal Technion, EE () June 25, 2014 1 / 16

Problem W : X → Y |Y| ≫ S � � � upgrade ( W , S ) � � W ′ : X → Y ′ |Y ′ | ≤ S Goal: make I ( W ′ ) − I ( W ) as small as possible, where I ( · ) is symmetric capacity. X need not be binary W need not be symmetric W can be a t -user MAC W : X t → Y Concurrent work A. Ghayoori and T. A. Gulliver, Upgraded Approximation of Non-Binary Alphabets for Polar Code Construction, on arXiv () June 25, 2014 2 / 16

Upgradation Vs. Degradation original another channel channel W P � �� � degraded channel Q upgraded another channel channel Q ′ P � �� � original channel W W ( y | u ) is the probability of receiving y ∈ Y , given that u ∈ X was sent. The input is assumed to have symmetric distribution over X . () June 25, 2014 3 / 16

Motivation: polar codes Assure Eve’s channels are very bad (wiretap setting) Upper bound on rate (error correcting code) Theorem Let W : X → Y be a given channel, with |X| = q . Let µ ≥ max { 5 , q ( q − 1 ) } be a given fidelity parameter. We can construct W ′ : X → Y ′ such that W ′ is upgraded with respect to W I ( W ′ ) − I ( W ) ≤ q − 1 µ ( 2 + q · ln q ) |Y ′ | ≤ S ( q , µ ) � ( 2 µ ) q + q - impractical for big q (i.e. large input alphabet.) () June 25, 2014 4 / 16

Key ideas Use bins: “close” output symbols of W go into the same bin “merge” all symbols in bin to one symbol Use “boost” symbols (sparingly): New output alphabet will have q = |X| special symbols, { κ u } u ∈X Symbol κ u received on W ′ only if u sent Small probability of receiving κ u () June 25, 2014 5 / 16

W y 1 y 2 . . . u=0 W ( y 1 | 0 ) W ( y 2 | 0 ) u=1 W ( y 1 | 1 ) W ( y 2 | 1 ) u=2 W ( y 1 | 2 ) W ( y 2 | 2 ) Q y 1 y 2 . . . κ 0 κ 1 κ 2 u=0 α 0 ( y 1 ) · W ( y 1 | 0 ) α 0 ( y 2 ) · W ( y 2 | 0 ) ǫ 0 0 0 u=1 α 1 ( y 1 ) · W ( y 1 | 1 ) α 1 ( y 2 ) · W ( y 2 | 1 ) 0 ǫ 1 0 u=2 α 2 ( y 1 ) · W ( y 1 | 2 ) α 2 ( y 2 ) · W ( y 2 | 2 ) 0 0 ǫ 2 � ǫ u = ( 1 − α u ( y )) W ( y | u ) , y ∈Y 0 ≤ α u ( y ) ≤ 1 , α u ( y ) ≈ 1 () June 25, 2014 6 / 16

Example W Consider a bin { y 1 , y 2 , y 3 , y 4 } , where y 1 y 2 y 3 y 4 2 . 1 · 10 − 12 u = 0 0 . 2625 0 . 0042 0 . 0500 5 . 8 · 10 − 12 u = 1 0 . 75 0 . 0118 0 . 1475 2 . 1 · 10 − 12 u = 2 0 . 2375 0 . 004 0 . 0525 Q We choose α u ( y ) such that the columns are multiples of one another: y 1 y 2 y 3 y 4 κ 0 κ 1 κ 2 1 . 901 · 10 − 12 u = 0 0 . 2459 0 . 0038 0 . 0483 0 . 0185 0 0 5 . 8 · 10 − 12 u = 1 0 . 75 0 . 0118 0 . 1475 0 0 0 1 . 806 · 10 − 12 u = 2 0 . 2336 0 . 0036 0 . 0459 0 0 0.0107 Q ( y 1 | u ) = 63 . 55 · Q ( y 2 | u ) = 5 . 084 · Q ( y 3 | u ) = 0 . 1293 · 10 12 · Q ( y 4 | u ) () June 25, 2014 7 / 16

Functions η ( x ) and R ( x ) for µ = 17 . 2 η ( x ) 6 /µ 1 + 5 /µ = e p o l s 4 /µ 3 /µ 2 /µ s l 1 /µ o p e = − 1 x 0 1 1 / e 2 1 / e R ( x ) 1 2 3 4 5 20 6 7 8 9 10 11 12 13 14 15 16 17 18 19 η ( x ) = − x · ln x () June 25, 2014 8 / 16

For y ∈ Y and u ∈ X , define the APP W ( y | u ) ϕ W ( u | y ) = v ∈X W ( y | v ) . � Two symbols y 1 , y 2 ∈ Y are in the same bin, if i ( u ) = R ( ϕ W ( u | y 1 )) = R ( ϕ W ( u | y 2 )) , for all u ∈ X . In our example earlier y 1 y 2 y 3 y 4 2 . 1 · 10 − 12 W ( y | 0 ) 0 . 2625 0 . 0042 0 . 0500 5 . 8 · 10 − 12 W ( y | 1 ) 0 . 75 0 . 0118 0 . 1475 2 . 1 · 10 − 12 W ( y | 2 ) 0 . 2375 0 . 004 0 . 0525 ϕ W ( 0 | y ) 0 . 21 0 . 21 0 . 20 0 . 21 i ( 0 ) = 6 ϕ W ( 1 | y ) 0 . 60 0 . 59 0 . 59 0 . 58 i ( 1 ) = 13 ϕ W ( 2 | y ) 0 . 19 0 . 20 0 . 21 0 . 21 i ( 2 ) = 6 () June 25, 2014 9 / 16

New APP Denote all the output letters in bin z as B ( z ) Define the leading input and output of the bin as ( u ∗ , y ∗ ) = arg max ϕ W ( u | y ) u ∈X , y ∈B ( z ) Define a new APP measure by for all u � = u ∗ ψ ( u | z ) = min y ∈B ( z ) ϕ W ( u | y ) and ψ ( u ∗ | z ) = 1 − � ψ ( u | z ) u � = u ∗ ϕ W ( u | y ) · ϕ W ( u ∗ | y ) ψ ( u | z ) α u ( y ) � ψ ( u ∗ | z ) () June 25, 2014 10 / 16

Example (Cont.) Consider a bin B ( z ) = { y 1 , y 2 , y 3 , y 4 } , where y 1 y 2 y 3 y 4 2 . 1 · 10 − 12 W ( y | 0 ) 0 . 2625 0 . 0042 0 . 0500 5 . 8 · 10 − 12 W ( y | 1 ) 0 . 75 0 . 0118 0 . 1475 2 . 1 · 10 − 12 W ( y | 2 ) 0 . 2375 0 . 004 0 . 0525 () June 25, 2014 11 / 16

Example (Cont.) Consider a bin B ( z ) = { y 1 , y 2 , y 3 , y 4 } , where y 1 y 2 y 3 y 4 2 . 1 · 10 − 12 W ( y | 0 ) 0 . 2625 0 . 0042 0 . 0500 5 . 8 · 10 − 12 W ( y | 1 ) 0 . 75 0 . 0118 0 . 1475 2 . 1 · 10 − 12 W ( y | 2 ) 0 . 2375 0 . 004 0 . 0525 y 1 y 2 y 3 y 4 ϕ W ( 0 | y ) 0 . 21 0 . 21 0 . 20 0 . 21 ϕ W ( 1 | y ) 0 . 60 0 . 59 0 . 59 0 . 58 ϕ W ( 2 | y ) 0 . 19 0 . 20 0 . 21 0 . 21 () June 25, 2014 11 / 16

Example (Cont.) Consider a bin B ( z ) = { y 1 , y 2 , y 3 , y 4 } , where y 1 y 2 y 3 y 4 2 . 1 · 10 − 12 W ( y | 0 ) 0 . 2625 0 . 0042 0 . 0500 5 . 8 · 10 − 12 W ( y | 1 ) 0 . 75 0 . 0118 0 . 1475 2 . 1 · 10 − 12 W ( y | 2 ) 0 . 2375 0 . 004 0 . 0525 y 1 y 2 y 3 y 4 ϕ W ( 0 | y ) 0 . 21 0 . 21 0 . 20 0 . 21 ϕ W ( 1 | y ) 0 . 60 0 . 59 0 . 59 0 . 58 ϕ W ( 2 | y ) 0 . 19 0 . 20 0 . 21 0 . 21 The leading input is u ∗ = arg max u ∈{ 0 , 1 , 2 } � � max y ∈B ( z ) ϕ W ( u | y ) = () June 25, 2014 11 / 16

Example (Cont.) Consider a bin B ( z ) = { y 1 , y 2 , y 3 , y 4 } , where y 1 y 2 y 3 y 4 2 . 1 · 10 − 12 W ( y | 0 ) 0 . 2625 0 . 0042 0 . 0500 5 . 8 · 10 − 12 W ( y | 1 ) 0 . 75 0 . 0118 0 . 1475 2 . 1 · 10 − 12 W ( y | 2 ) 0 . 2375 0 . 004 0 . 0525 y 1 y 2 y 3 y 4 ϕ W ( 0 | y ) 0 . 21 0 . 21 0 . 20 0 . 21 ϕ W ( 1 | y ) 0 . 60 0 . 59 0 . 59 0 . 58 ϕ W ( 2 | y ) 0 . 19 0 . 20 0 . 21 0 . 21 The leading input is u ∗ = arg max u ∈{ 0 , 1 , 2 } � � max y ∈B ( z ) ϕ W ( u | y ) = 1 . () June 25, 2014 11 / 16

Example (Cont.) Consider a bin B ( z ) = { y 1 , y 2 , y 3 , y 4 } , where y 1 y 2 y 3 y 4 2 . 1 · 10 − 12 W ( y | 0 ) 0 . 2625 0 . 0042 0 . 0500 5 . 8 · 10 − 12 W ( y | 1 ) 0 . 75 0 . 0118 0 . 1475 2 . 1 · 10 − 12 W ( y | 2 ) 0 . 2375 0 . 004 0 . 0525 y 1 y 2 y 3 y 4 ϕ W ( 0 | y ) 0 . 21 0 . 21 0 . 20 0 . 21 ψ ( 0 | z ) = 0 . 20 ϕ W ( 1 | y ) 0 . 60 0 . 59 0 . 59 0 . 58 ϕ W ( 2 | y ) 0 . 19 0 . 20 0 . 21 0 . 21 ψ ( 2 | z ) = 0 . 19 The leading input is u ∗ = arg max u ∈{ 0 , 1 , 2 } � � max y ∈B ( z ) ϕ W ( u | y ) = 1 . () June 25, 2014 11 / 16

Example (Cont.) Consider a bin B ( z ) = { y 1 , y 2 , y 3 , y 4 } , where y 1 y 2 y 3 y 4 2 . 1 · 10 − 12 W ( y | 0 ) 0 . 2625 0 . 0042 0 . 0500 5 . 8 · 10 − 12 W ( y | 1 ) 0 . 75 0 . 0118 0 . 1475 2 . 1 · 10 − 12 W ( y | 2 ) 0 . 2375 0 . 004 0 . 0525 y 1 y 2 y 3 y 4 ϕ W ( 0 | y ) 0 . 21 0 . 21 0 . 20 0 . 21 ψ ( 0 | z ) = 0 . 20 ϕ W ( 1 | y ) 0 . 60 0 . 59 0 . 59 0 . 58 ψ ( 1 | z ) = 1 − ( 0 . 20 + 0 . 19 ) = 0 . 61 ϕ W ( 2 | y ) 0 . 19 0 . 20 0 . 21 0 . 21 ψ ( 2 | z ) = 0 . 19 The leading input is u ∗ = arg max u ∈{ 0 , 1 , 2 } � � max y ∈B ( z ) ϕ W ( u | y ) = 1 . () June 25, 2014 11 / 16

Example (Cont.) Consider a bin B ( z ) = { y 1 , y 2 , y 3 , y 4 } , where y 1 y 2 y 3 y 4 2 . 1 · 10 − 12 W ( y | 0 ) 0 . 2625 0 . 0042 0 . 0500 5 . 8 · 10 − 12 W ( y | 1 ) 0 . 75 0 . 0118 0 . 1475 2 . 1 · 10 − 12 W ( y | 2 ) 0 . 2375 0 . 004 0 . 0525 y 1 y 2 y 3 y 4 ϕ W ( 0 | y ) 0 . 21 0 . 21 0 . 20 0 . 21 ψ ( 0 | z ) = 0 . 20 ϕ W ( 1 | y ) 0 . 60 0 . 59 0 . 59 0 . 58 ψ ( 1 | z ) = 1 − ( 0 . 20 + 0 . 19 ) = 0 . 61 ϕ W ( 2 | y ) 0 . 19 0 . 20 0 . 21 0 . 21 ψ ( 2 | z ) = 0 . 19 The leading input is u ∗ = arg max u ∈{ 0 , 1 , 2 } � � max y ∈B ( z ) ϕ W ( u | y ) = 1 . E.g. α 0 ( y 1 ) = 0 . 20 0 . 21 · 0 . 60 0 . 61 ≈ 0 . 936. Thus, we subtract ( ≈ 0 . 064 · W ( y 1 | 0 )) and pass over to our boost symbol κ 0 . () June 25, 2014 11 / 16

Example (Cont.) Consider a bin B ( z ) = { y 1 , y 2 , y 3 , y 4 } , where y 1 y 2 y 3 y 4 2 . 1 · 10 − 12 W ( y | 0 ) 0 . 2625 0 . 0042 0 . 0500 5 . 8 · 10 − 12 W ( y | 1 ) 0 . 75 0 . 0118 0 . 1475 2 . 1 · 10 − 12 W ( y | 2 ) 0 . 2375 0 . 004 0 . 0525 y 1 y 2 y 3 y 4 ϕ W ( 0 | y ) 0 . 21 0 . 21 0 . 20 0 . 21 ψ ( 0 | z ) = 0 . 20 ϕ W ( 1 | y ) 0 . 60 0 . 59 0 . 59 0 . 58 ψ ( 1 | z ) = 1 − ( 0 . 20 + 0 . 19 ) = 0 . 61 ϕ W ( 2 | y ) 0 . 19 0 . 20 0 . 21 0 . 21 ψ ( 2 | z ) = 0 . 19 y 1 y 2 y 3 y 4 0 . 20 0 . 21 · 0 . 60 0 . 21 · 0 . 59 0 . 20 0 . 20 0 . 20 · 0 . 59 0 . 20 0 . 21 · 0 . 58 α 0 ( y ) 0 . 61 0 . 61 0 . 61 0 . 61 α 1 ( y ) 1 1 1 1 0 . 19 0 . 19 · 0 . 60 0 . 19 0 . 20 · 0 . 59 0 . 19 0 . 21 · 0 . 59 0 . 19 0 . 21 · 0 . 58 α 2 ( y ) 0 . 61 0 . 61 0 . 61 0 . 61 () June 25, 2014 12 / 16

Example (Cont.) Consider a bin B ( z ) = { y 1 , y 2 , y 3 , y 4 } , where y 1 y 2 y 3 y 4 2 . 1 · 10 − 12 W ( y | 0 ) 0 . 2625 0 . 0042 0 . 0500 5 . 8 · 10 − 12 W ( y | 1 ) 0 . 75 0 . 0118 0 . 1475 2 . 1 · 10 − 12 W ( y | 2 ) 0 . 2375 0 . 0040 0 . 0525 y 1 y 2 y 3 y 4 ϕ W ( 0 | y ) 0 . 21 0 . 21 0 . 20 0 . 21 ψ ( 0 | z ) = 0 . 20 ϕ W ( 1 | y ) 0 . 60 0 . 59 0 . 59 0 . 58 ψ ( 1 | z ) = 1 − ( 0 . 20 + 0 . 19 ) = 0 . 61 ϕ W ( 2 | y ) 0 . 19 0 . 20 0 . 21 0 . 21 ψ ( 2 | z ) = 0 . 19 y 1 y 2 y 3 y 4 1 . 901 · 10 − 12 Q ( y | 0 ) 0 . 2459 0 . 0038 0 . 0483 5 . 8 · 10 − 12 Q ( y | 1 ) 0 . 75 0 . 0118 0 . 1475 1 . 806 · 10 − 12 Q ( y | 2 ) 0 . 2336 0 . 0036 0 . 0459 () June 25, 2014 13 / 16