Geometry of Least Squares 2 Least squares from the - PowerPoint PPT Presentation

1 ¡ Geometry ¡ ¡of ¡Least ¡Squares ¡ ¡ ¡

2 ¡ Least ¡squares ¡from ¡the ¡ perspec0ve ¡of ¡linear ¡algebra ¡ (geometry ¡of ¡LSE) Example

3 ¡ Line fitting example: 5 y 3 4 3 y 2 2  1 . 6  ˆ � � x 0 = ( A T A ) − 1 A T y = y 1 1 v ˆ 0 . 26 0 least squares solution 0 1 2 3 4 6 5 t 1 t 3 t 2

4 ¡ LS geometry A c 1 A c 2 5 4 3 2 1 5 4 3 2 1 1 2 3 4 5

5 ¡ LS geometry A c 1 A c 2 5 4 3 2 1 5 4 3 2 1 1 2 3 4 5

6 ¡ LS geometry A c 1 A c 2 5 4 3 2 1 5 4 3 2 1 1 2 3 4 5

7 ¡ LS geometry A c 1 A c 2 5 4 3 2 1 5 4 3 2 1 1 2 3 4 5 >60 3.5

8 ¡ LS geometry A c 1 A c 2 5 4 3 2 1 5 4 3 2 1 1 2 3 4 5 >60 3.5

9 ¡ LS geometry A c 1 A c 2 5 4 3 2 1 5 4 3 2 1 1 2 3 4 5 >5 3.5

10 ¡ Geometry ¡ ¡of ¡Least ¡Squares ¡ ¡ ¡