Matrices and vectors Machine Learning Andrew Ng Matrix: - PowerPoint PPT Presentation

Linear ¡Algebra ¡ review ¡(op3onal) ¡ Matrices ¡and ¡ vectors ¡ Machine ¡Learning ¡ Andrew ¡Ng ¡

Matrix: ¡ Rectangular ¡array ¡of ¡numbers: ¡ Dimension ¡of ¡matrix: ¡number ¡of ¡rows ¡x ¡number ¡of ¡columns ¡ Andrew ¡Ng ¡

Matrix ¡Elements ¡ (entries ¡of ¡matrix) ¡ “ ¡ ¡, ¡ ¡ ¡entry” ¡in ¡the ¡ ¡ ¡ ¡ ¡ ¡ ¡row, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡column. ¡ Andrew ¡Ng ¡

Vector: ¡ An ¡n ¡x ¡1 ¡matrix. ¡ 1-­‑indexed ¡vs ¡0-­‑indexed: ¡ element ¡ Andrew ¡Ng ¡

Linear ¡Algebra ¡ review ¡(op3onal) ¡ Addi3on ¡and ¡scalar ¡ mul3plica3on ¡ Machine ¡Learning ¡ Andrew ¡Ng ¡

Matrix ¡Addi4on ¡ Andrew ¡Ng ¡

Scalar ¡Mul4plica4on ¡ Andrew ¡Ng ¡

Combina4on ¡of ¡Operands ¡ Andrew ¡Ng ¡

Linear ¡Algebra ¡ review ¡(op3onal) ¡ Matrix-­‑vector ¡ mul3plica3on ¡ Machine ¡Learning ¡ Andrew ¡Ng ¡

Example ¡ Andrew ¡Ng ¡

Details: ¡ m ¡x ¡n ¡matrix ¡ n ¡x ¡1 ¡matrix ¡ m-­‑dimensional ¡ (m ¡rows, ¡ (n-­‑dimensional ¡ vector ¡ n ¡columns) ¡ vector) ¡ To ¡get ¡ ¡ ¡ ¡ ¡, ¡mul3ply ¡ ¡ ¡ ¡’s ¡ ¡ ¡ ¡ ¡ ¡ ¡row ¡with ¡elements ¡ of ¡vector ¡ ¡ ¡, ¡and ¡add ¡them ¡up. ¡ Andrew ¡Ng ¡

Example ¡ Andrew ¡Ng ¡

House ¡sizes: ¡ Andrew ¡Ng ¡

Linear ¡Algebra ¡ review ¡(op3onal) ¡ Matrix-­‑matrix ¡ mul3plica3on ¡ Machine ¡Learning ¡ Andrew ¡Ng ¡

Example ¡ Andrew ¡Ng ¡

Details: ¡ m ¡x ¡n ¡matrix ¡ n ¡x ¡o ¡matrix ¡ m ¡x ¡o ¡ (m ¡rows, ¡ (n ¡rows, ¡ matrix ¡ n ¡columns) ¡ o ¡columns) ¡ The ¡ ¡ ¡ ¡ ¡ ¡ ¡column ¡of ¡the ¡matrix ¡ ¡ ¡ ¡ ¡ ¡is ¡obtained ¡by ¡mul3plying ¡ ¡ ¡ ¡ ¡with ¡the ¡ ¡ ¡ ¡ ¡ ¡ ¡column ¡of ¡ ¡ ¡ ¡ ¡. ¡(for ¡ ¡ ¡ ¡= ¡1,2,…,o) ¡ Andrew ¡Ng ¡

Example ¡ 7 2 7 Andrew ¡Ng ¡

Have ¡3 ¡compe3ng ¡hypotheses: ¡ House ¡sizes: ¡ 1. ¡ 2. ¡ 3. ¡ Matrix ¡ Matrix ¡ Andrew ¡Ng ¡

Linear ¡Algebra ¡ review ¡(op3onal) ¡ Matrix ¡mul3plica3on ¡ proper3es ¡ Machine ¡Learning ¡ Andrew ¡Ng ¡

Let ¡ ¡ ¡ ¡ ¡and ¡ ¡ ¡ ¡ ¡be ¡matrices. ¡Then ¡in ¡general, ¡ (not ¡commuta3ve.) ¡ E.g. ¡ Andrew ¡Ng ¡

Let ¡ Compute ¡ Let ¡ Compute ¡ Andrew ¡Ng ¡

Iden4ty ¡Matrix ¡ Denoted ¡ ¡ ¡ ¡ ¡(or ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡). ¡ Examples ¡of ¡iden3ty ¡matrices: ¡ 2 ¡x ¡2 ¡ 3 ¡x ¡3 ¡ 4 ¡x ¡4 ¡ For ¡any ¡matrix ¡ ¡ ¡ ¡, ¡ Andrew ¡Ng ¡

Linear ¡Algebra ¡ review ¡(op3onal) ¡ Inverse ¡and ¡ transpose ¡ Machine ¡Learning ¡ Andrew ¡Ng ¡

Not ¡all ¡numbers ¡have ¡an ¡inverse. ¡ Matrix ¡inverse: ¡ If ¡A ¡is ¡an ¡m ¡x ¡m ¡matrix, ¡and ¡if ¡it ¡has ¡an ¡inverse, ¡ Matrices ¡that ¡don’t ¡have ¡an ¡inverse ¡are ¡“singular” ¡or ¡“degenerate” ¡ Andrew ¡Ng ¡

Matrix ¡Transpose ¡ Example: ¡ Let ¡ ¡ ¡ ¡ ¡be ¡an ¡m ¡x ¡n ¡matrix, ¡and ¡let ¡ ¡ Then ¡ ¡ ¡ ¡ ¡is ¡an ¡n ¡x ¡m ¡matrix, ¡and ¡ Andrew ¡Ng ¡