Wiener-Hopf kernel es/ma/on NEU 466M Instructor: Professor Ila R. - PowerPoint PPT Presentation

Wiener-Hopf kernel es/ma/on NEU 466M Instructor: Professor Ila R. Fiete Spring 2016

Problem setup /me-varying signal (s/mulus) {· · · x t − 1 , x t , x t +1 · · · } sampled at discrete intervals {· · · y t − 1 , y t , y t +1 · · · } /me-varying signal (response) Assume y derived from x, through convolu/on with unknown kernel h and small noise term ε: M 2 X y ( n ) = x ( n − m ) h ( m ) + ✏ ( n ) m = M 1 unknown kernel. { h M 1 , · · · , h M 2 } If M 1 =0: causal.

Ques/on M 2 X y ( n ) = x ( n − m ) h ( m ) + ✏ ( n ) m = M 1 What is the best possible es/mate of h , given x, y ?

Minimiza/on problem ! 2 M 2 ∞ E = 1 X X y n − x n − m h m 2 n = −∞ m = M 1 h M 1 · · · ˆ ˆ h M 2 = arg E min h M 1 ··· h M 2 Find h that minimizes the squared error between measured y and values predicted from x by the model.

Minimiza/on problem ! 2 M 2 ∞ E = 1 X X y n − x n − m h m 2 n = −∞ m = M 1 h M 1 · · · ˆ ˆ h M 2 = arg E min h M 1 ··· h M 2 Compare: (very similar) linear regression framework.

Solve: minimiza/on problem M 2 ! 0 = ∂ E X X = − y n − x n − m h m x n − i ∂ h i n m = M 1 X X X = − y n x n − i + ( h m x n − m x n − i ) n m n M 2 = C xy X h m C xx − i − m i m = M 1

Wiener-Hopf equa/ons unknown kernel M 2 C xy X h m C xx = i − m i m = M 1 cross-correla/on/STA input auto-correla/on • This is the least-squares op/mal solu/on for the unknown kernel h. • It depends on the cross-correla/on of the input and the response (STA). • But it also depends on the auto-correla/on of the input, unlike the STA.

Linear regression as special case of Wiener-Hopf M 2 C xy X h m C xx = i − m i m = M 1 No /me-lags in auto- and cross-correla/on since x,y sta/onary samples not /me series (so i=0 ). Only one term h (the slope between x, y ), no convolu/on, so M 1 = M 2 = 0 C xy = C xx h 0 h 0 = C xy Op/mal least-squares C xx es/mate of slope in linear regression (look back at notes)

Wiener-Hopf equa/ons: solu/on? unknown kernel: ( M 2 -M 1 +1) x 1 M 2 C xy X h m C xx = i − m i m = M 1 (M 2 -M 1 +1) x 1 cross-correla/on/STA input auto-correla/on M 2 -M 1 +1 unknowns h m . M 2 -M 1 +1 equa/ons: i th equa/on obtained by differen/a/ng w.r.t. h i . Thus, generically, a solu/on exists. Easy way to solve?

Brief algebra detour before we solve Wiener-Hopf equa/ons MATRIX-VECTOR ALGEBRA

Matrix-vector algebra   a 11 a 12 a 1 m · · · a 21 a 22 a 2 m size (n x m) matrix · · ·   A =   · · · · · · · · · · · ·   a n 1 a n 2 a nm · · ·   v 1 v 2     size (m x 1) column vector v = .   . .   v m

Nota/on • Matrices: upper-case A, B, U, W • Vector: bold , (usually) lower-case (handwri/ng: ) x , y , v , w x → x • Elements of matrix, vector: lower-case a ij , b i , v j , u kl • Scalar numbers: lower-case, no indices a, b, c, γ , α

Matrix-vector algebra (1) (1)       a 11 v 1 + a 12 v 2 + · · · + a 1 m v m a 11 a 12 a 1 m v 1 · · · (2) A v = a 21 v 1 + a 22 v 2 + · · · + a 2 m v m (2)   a 21 a 22 a 2 m v 2 = · · ·       .     .   . · · · · · · · · · · · ·    .    .   a n 1 v 1 + a n 2 v 2 + · · · + a nm v m a n 1 a n 2 a nm . · · · v m (n x m) (m x 1) (n x 1) m X ( A v ) i = A ij v j i any index in {1,…,n} j =1

Matrix-matrix product     b 11 b 12 b 1 l a 11 a 12 a 1 m · · · · · · AB = b 21 b 22 b 2 l a 21 a 22 a 2 m  · · ·   · · ·      · · · · · · · · · · · ·   · · · · · · · · · · · ·   b m 1 b m 2 b ml · · · a n 1 a n 2 a nm · · · (n x m) (m x l)   ( a 11 b 11 + · · · + a 1 m b m 1 ) ( a 11 b 1 l + · · · + a 1 m b ml ) · · · ( a 21 b 11 + · · · + a 2 m b m 1 ) ( a 21 b 1 l + · · · + a 2 m b ml )  · · ·  =   · · · · · · · · ·   ( a n 1 b 11 + · · · + a nm b m 1 ) ( a n 1 b 1 l + · · · + a nm b ml ) · · · (n x l)

Matrix-matrix product     b 11 b 12 b 1 l a 11 a 12 a 1 m · · · · · · AB = b 21 b 22 b 2 l a 21 a 22 a 2 m  · · ·   · · ·      · · · · · · · · · · · ·   · · · · · · · · · · · ·   b m 1 b m 2 b ml · · · a n 1 a n 2 a nm · · · (n x m) (m x l)   ( a 11 b 11 + · · · + a 1 m b m 1 ) ( a 11 b 1 l + · · · + a 1 m b ml ) · · · ( a 21 b 11 + · · · + a 2 m b m 1 ) ( a 21 b 1 l + · · · + a 2 m b ml )  · · ·  =   · · · · · · · · ·   ( a n 1 b 11 + · · · + a nm b m 1 ) ( a n 1 b 1 l + · · · + a nm b ml ) · · ·

Matrix-matrix product     b 11 b 12 b 1 l a 11 a 12 a 1 m · · · · · · AB = b 21 b 22 b 2 l a 21 a 22 a 2 m  · · ·   · · ·      · · · · · · · · · · · ·   · · · · · · · · · · · ·   b m 1 b m 2 b ml · · · a n 1 a n 2 a nm · · · (n x m) (m x l)   ( a 11 b 11 + · · · + a 1 m b m 1 ) ( a 11 b 1 l + · · · + a 1 m b ml ) · · · ( a 21 b 11 + · · · + a 2 m b m 1 ) ( a 21 b 1 l + · · · + a 2 m b ml )  · · ·  =   · · · · · · · · ·   ( a n 1 b 11 + · · · + a nm b m 1 ) ( a n 1 b 1 l + · · · + a nm b ml ) · · ·

Matrix-matrix product     b 11 b 12 b 1 l a 11 a 12 a 1 m · · · · · · AB = b 21 b 22 b 2 l a 21 a 22 a 2 m  · · ·   · · ·      · · · · · · · · · · · ·   · · · · · · · · · · · ·   b m 1 b m 2 b ml · · · a n 1 a n 2 a nm · · · (n x m) (m x l)   ( a 11 b 11 + · · · + a 1 m b m 1 ) ( a 11 b 1 l + · · · + a 1 m b ml ) · · · ( a 21 b 11 + · · · + a 2 m b m 1 ) ( a 21 b 1 l + · · · + a 2 m b ml )  · · ·  =   · · · · · · · · ·   ( a n 1 b 11 + · · · + a nm b m 1 ) ( a n 1 b 1 l + · · · + a nm b ml ) · · ·

Matrix-matrix product     b 11 b 12 b 1 l a 11 a 12 a 1 m · · · · · · AB = b 21 b 22 b 2 l a 21 a 22 a 2 m  · · ·   · · ·      · · · · · · · · · · · ·   · · · · · · · · · · · ·   b m 1 b m 2 b ml · · · a n 1 a n 2 a nm · · · (n x m) (m x l)   ( a 11 b 11 + · · · + a 1 m b m 1 ) ( a 11 b 1 l + · · · + a 1 m b ml ) · · · ( a 21 b 11 + · · · + a 2 m b m 1 ) ( a 21 b 1 l + · · · + a 2 m b ml )  · · ·  =   · · · · · · · · ·   ( a n 1 b 11 + · · · + a nm b m 1 ) ( a n 1 b 1 l + · · · + a nm b ml ) · · ·

Matrix-matrix product     b 11 b 12 b 1 l a 11 a 12 a 1 m · · · · · · AB = b 21 b 22 b 2 l a 21 a 22 a 2 m  · · ·   · · ·      · · · · · · · · · · · ·   · · · · · · · · · · · ·   b m 1 b m 2 b ml · · · a n 1 a n 2 a nm · · · (n x m) (m x l)   ( a 11 b 11 + · · · + a 1 m b m 1 ) ( a 11 b 1 l + · · · + a 1 m b ml ) · · · ( a 21 b 11 + · · · + a 2 m b m 1 ) ( a 21 b 1 l + · · · + a 2 m b ml )  · · ·  =   · · · · · · · · ·   ( a n 1 b 11 + · · · + a nm b m 1 ) ( a n 1 b 1 l + · · · + a nm b ml ) · · ·

Matrix-matrix product     b 11 b 12 b 1 l a 11 a 12 a 1 m · · · · · · AB = b 21 b 22 b 2 l a 21 a 22 a 2 m  · · ·   · · ·      · · · · · · · · · · · ·   · · · · · · · · · · · ·   b m 1 b m 2 b ml · · · a n 1 a n 2 a nm · · · (n x m) (m x l)   ( a 11 b 11 + · · · + a 1 m b m 1 ) ( a 11 b 1 l + · · · + a 1 m b ml ) · · · ( a 21 b 11 + · · · + a 2 m b m 1 ) ( a 21 b 1 l + · · · + a 2 m b ml )  · · ·  =   · · · · · · · · ·   ( a n 1 b 11 + · · · + a nm b m 1 ) ( a n 1 b 1 l + · · · + a nm b ml ) · · ·

Matrix-matrix product     b 11 b 12 b 1 l a 11 a 12 a 1 m · · · · · · AB = b 21 b 22 b 2 l a 21 a 22 a 2 m  · · ·   · · ·      · · · · · · · · · · · ·   · · · · · · · · · · · ·   b m 1 b m 2 b ml · · · a n 1 a n 2 a nm · · · (n x m) (m x l)   ( a 11 b 11 + · · · + a 1 m b m 1 ) ( a 11 b 1 l + · · · + a 1 m b ml ) · · · ( a 21 b 11 + · · · + a 2 m b m 1 ) ( a 21 b 1 l + · · · + a 2 m b ml )  · · ·  =   · · · · · · · · ·   ( a n 1 b 11 + · · · + a nm b m 1 ) ( a n 1 b 1 l + · · · + a nm b ml ) · · ·

Matrix-matrix product AB = = (n x m) (m x l) (n x l)

Matrix-matrix product AB = = (n x m) (m x l) (n x l)

System of equa/ons n equa/ons in m unknowns (v 1 ,…v m ): a 11 v 1 + · · · + a 1 m v m = b 1 a 21 v 1 + · · · + a 2 m v m = b 2 · · · · · · · · · a n 1 v 1 + · · · + a nm v m = b n