Logistic Regression

Queste note sono molto di base. Per cose leggermente più avanzate bisogna guardare Bayesian Linear Regression, Linear Regression methods.

Introduzione alla logistic regression

Giustificazione del metodo

Questo è uno dei modelli classici, creati da Minsky qualche decennio fa In questo caso andiamo direttamente a computare il valore di $P(Y|X)$ durante l'inferenza, quindi si parla di modello discriminativo.

Introduzione al problema

Supponiamo che

• $Y$ siano variabili booleane
• $X_i$ siano variabili continue
• $X_i$ siano indipendenti uno dall'altro.
• $P(X_i|Y=k)$ sono modellate tramite distribuzioni gaussiane $\mathbb{N}({\mu }_{ik},{\sigma }_i)$
  • NOTA! la varianza non dipende dalle feature!, questo mi permetterebbe di poi togliere la cosa quadratico dopo, rendendo poi l'approssimazione lineare
  • Per esempio se utilizziamo nelle immagini, avrebbe senso normalizzare pixel by pixel, e non image wide con un unico valore, è una assunzione, che se funziona dovrebbe poi far andare meglio la regressione logistica!
• $Y$ è una distribuzione bernoulliana.

Ci chiediamo come è fatto $P(Y|X)$?

Caratterizzazione di P(Y|X)

Proviamo a calcolare analiticamente come è fatto $P(Y|X)$ usando le assunzioni di sopra

Theorem Assunte le cose di sopra si avrà che

$$P(Y=1|X=⟨x_1,\dots ,x_n⟩)=\frac{1}{1+\exp \left(w_0+{\sum }_i{w}_i{x}_i\right)}$$

Nella derivazione di sopra si ha che $\pi =P(Y=1)$

E poi sappiamo che

$$\ln \frac{P(X_i|Y=0)}{P(X_i|Y=1)}=\ln \frac{e^{-\frac{(X_i-{\mu }_{i0}{)}^2}{2{\sigma }_0^2}}}{e^{-\frac{(X_i-{\mu }_{i_1}{)}^2}{2{\sigma }_1^2}}}=-\frac{(X_i-{\mu }_{i0}{)}^2}{2{\sigma }_i^2}+\frac{(X_i-{\mu }_{i1}{)}^2}{2{\sigma }_i^2}$$

E si può notare che poi abbiamo il risultato di sopra e diventa sensato avere la forma di Sigmoid, che esce in modo molto molto naturale

Dalla parte in blu capiamo che è una cosa lineare, perché se è maggiore di zero allora è meglio la probabilità di stare da una parte rispetto all'altra.

Funzione di Sigmoid

Questo ci dà una motivazione del motivo per cui utilizziamo

$$\text{ Funzione di sigmoid: }\sigma (x)=\frac{1}{1+e^{-x}}$$

Questa funzione si può vedere come un caso particolare di Softmax Function.

Derivata Si può calcolare che ha una derivata molto molto carina, ma è anche il problema per cui esiste vanishing gradient.

$${\sigma }^{\prime }(x)=\sigma (x)(1-\sigma (x))$$

Quindi diventa vero che

$$P(Y=1|x,w)=\sigma \left(w_0+\sum _i{w}_i{x}_i\right)$$

Possiamo scrivere la probabilità di ogni singolo campione come in figura sotto

Funzione di loss

Che sembra una cross-entropy classica, che però non ha una soluzione analitica, per questo motivo si utilizza discesa del gradiente.

Ottimizzazione discesa del gradiente

Intuizione sul gradiente

abbiamo alla fine che il gradiente è

$$\frac{\delta \mathcal{L}(w)}{\delta w_i}=\sum _l{x}_i^l\cdot (y^l-{\alpha }^l)$$

Perché già $(y-\alpha )$ sta misurando in un certo senso la differenza (l'errore), e il prodotto lo sta legando all'input preciso, quindi è molto bello quando la formula è interpretabile in modo fisico quasi.

Sometimes is clearer to write $\alpha$ in an explicit fashion:

$${\nabla }_w\ell (w)(x,y)=[\sigma (w\cdot x)-y]x$$

Calcolo del gradiente cross entropy

$$a^l=\sigma \left(w_0+\sum _i{x}_i{w}_i\right)=\sigma (z)$$ $$\sum _l\log P(Y=y^l|x^l,w)=\sum _l{y}^l\log ({\alpha }^l)+(1-y^l)(1-\log ({\alpha }^l))$$

Dalla formula di sopra riscritta in altro modo.

Questo è esattamente poi quanto sarà fatto durante il percettrone, per l'aggiornamento delle variabili in quelle istanze.

Fase update del gradiente

Una volta calcolato che il valore di update è analiticamente uguale a

$$\frac{\delta \mathcal{L}(w)}{\delta w_i}=\sum _l(y^l-{\alpha }^l)x^l$$

Possiamo usare questa per aggiornare il peso di $w_i$

Update step:

$$w_i=w_i+\mu \frac{\delta \mathcal{L}(w)}{\delta w_i}$$

A volte viene aggiunto un fattore di regolarizzazione che fa diventare la regola di update come

$$w_i=w_i+\mu \frac{\delta \mathcal{L}(w)}{\delta w_i}+\mu \lambda |w_i|$$

Che implica il fatto che se abbiamo un singolo peso grande, farà molta fatica ad esserci nel regolarizzatore (quindi ho meno varianza fra i pesi diciamo).