Minimi quadrati

Note matematiche introduttive

Vettori ortonormali

Questa parte è fatto molto meglio in Inner product spaces.

Due vettori si dicono ortonormali se $vv^T = ||v|| = 1$ e sono ortogonali, ossia $v_i v^T_j = 0$ con i e j diversi fra di loro

Matrici ortogonale (4)

Matrici si dicono ortonomali se le sue colonne sono vettori sono ortonormali

1. Matrici ortonormali sono isometrie, cioè mantengono le distanze.
2. Queste matrici sono tutte non singolari e quadrate per definizione
3. La sua inversa è ortogonale
4. La sua inversa è uguale alla trasposta

• slide Proprietà matrice ortonormale

  

Minimi quadrati lineari

Introduzione al problema

Sappiamo che non esiste una soluzione esatta per sistemi di equazione lineare che più equazioni che soluzioni. Si può concludere che la soluzione a questo problema (in slide) esiste sempre ed è unica se $k = n$, se è minore ci sono infinite soluzioni.

• Slide introduzione

  

Ossia mi interessa solamente l’ascissa del minimo, ossia

$\text{ argmin }\lVert Ax - b \rVert$, cercando la x.

Soluzione con equazione normale

Questo si può fare solamente se $k = n$

• Teorema, soddisfacimento delle equazioni normali è sufficiente per trovare una soluzione

  

In questo caso esiste una soluzione unica.

• Soluzione equazione normale

  

  nota ci sono errori sia sulla trasposta che sul gradiente in immagine

  

• In breve

  Fare il gradiente della funzione ed eguagliarlo a 0, perché solo se ho 0 ho il punto di minimo di questa funzione convessa della norma

Singular Value decomposition

Moved to Singular Value Decomposition.