Optimization methods

Metodi altri sono trovare una approssimazione facile da calcolare (simile all’approccio del modello surrogato credo). Ma nel nostro caso proviamo a trovare metodi di esplorare lo spazio dei parametri in modo intelligente. Deterministic methods Sono utilizzabili quando ci sono delle proprietà come convessità, limitatezza, continuità. Newton Raphson method Molte implementazioni in R usano questo metodo, è Perfetto quando $h$ è quadratico, e in statistica molti problemi sono quadratici e funziona in modo perfetto Ma in cose non lineari si ha meno performance (perché l’hessiana è molto instabile per l’inversione, si dice che è mal condizionata, e si fa con attenzione.) l’unica cosa da sapere secondo me è ...

Reading Time: 3 minutes ·  By Xuanqiang Angelo Huang

Grammatiche Regolari

Introduzione Definizione grammatica regolare Definizione In pratica posso avere solamente come terminali a, oppure un suffisso a su un non terminale. Queste grammatiche sono interessanti perché è molto facile costruire un automa che sia in grado di riconoscere questo linguaggio. Seguendo una definizione più lasca possono anche accettare dei nonterminali epsilon Espressione regolare a NFA Questa sezione è anche presente in Automi e Regexp, però è riportata qui così c’è l’insieme di tutte le cose in un unico posto. ...

Reading Time: 6 minutes ·  By Xuanqiang Angelo Huang

Descrizione linguaggio

Introduzione Per questa parte c’è un sacco di roba in comune con [Tecniche di definizione di semantica (4) Trattiamo alcune caratteristiche che descrivono ad alto livello un linguaggio di programmazione. È da notare che questa parte della spiegazione del linguaggio non è limitante al solo linguaggio di programmazione, è utile per analizzare tutti i linguaggi (tranne la parte di implementazione) Sintassi Relazione fra segni. si occupa di decidere quando una frase è corretta. ...

Reading Time: 8 minutes ·  By Xuanqiang Angelo Huang

Variabili aleatorie

Le variabili aleatorie ci permettono di dire qualcosa sullo spazio di probabilità senza andare troppo nei dettagli a considerare singoli eventi e cose simili. Variabili aleatorie discrete Con le variabili aleatorie cominciamo ad entrare nel noccio della questione, finalmente possiamo in un certo senso legare l’outcome di un evento, alla probabilità dell’evento. Definizione Variabili aleatorie Si definisce variabile aleatoria $X$ una funzione da $\Omega \to E$, con $\Omega$ il nostro spazio campionario, e $E$ qualunque insieme (quando $E = \mathbb{R}$ si parla di variabile aleatoria reale ...

Reading Time: 4 minutes ·  By Xuanqiang Angelo Huang

Expressiveness of NN

The perceptron Slide summary of working of perceptron Note on the bias: it is only useful to move the treshhold where to consider the output to be 1 and where to be 1. Now we ask what can be predicted by a perceptron? We can see the update rule of the perceptron: $$ \begin{cases} w = w + \alpha x \\ b = b + \alpha \end{cases} $$$$ \alpha = \begin{cases} 0 & \Theta(x \theta + b) = y \\ -1 & \Theta(x \theta + b) > y \\ 1 & \Theta(x \theta + b) < y \end{cases} $$Linearly separability necessity Hyperplanes, because that equation is an hyperplane, so we are sure that we can predict an hyperplane, and that it, and it’s only it. (it’s predicting wheter it can be above or below that line). So the perceptron is correct only if the data is linearly separable! ...

Reading Time: 3 minutes ·  By Xuanqiang Angelo Huang

Gruppi Normali

Introduzione Definizione normalità Test del sottogruppo normale Dimostrazione Il gruppo quoziente L’importanza del gruppo normale è che quando esso vale, possiamo avere il gurppo fattore Dimostrazione !

Reading Time: 1 minute ·  By Xuanqiang Angelo Huang

Teorema di Lagrange

Classi laterali Dimostrazione dei lemmi sopra. La cosa interessante di questa parte è possiamo usare una classe laterale per partizionare il gruppo iniziale! Il teorema di Lagrange Dividere significa che **partiziona** l'insieme iniziale in alcuni insiemi distinti. L'insieme $G:H$ è l'insieme che contiene tutti i cosets, credo. Dimostrazione ...

Reading Time: 2 minutes ·  By Xuanqiang Angelo Huang

Metodi di Discesa

Introduzione ai metodi di discesa. Generali sui metodi di discesa Vogliamo creare algoritmi che riescano a trovare i punti di minimo delle funzioni non vincolate. In generale si trova un punto stazionario (condizioni necessarie) ma non è garantito lo stato ottimo. Solitamente sono divisi in first order methods in cui viene considerata solamente la derivata prima della funzione. E cose di metodi superiori. Condizioni di arresto classiche (2) Slide ...

Reading Time: 5 minutes ·  By Xuanqiang Angelo Huang

Proximal Polixy Optimization

This documents attempts to briefly present the algorithm and some experiments found online about it. The following repo seems to be a good resource: here. Usually, PPO is explained as an actor critic framework. This means there is an agent that acts on the environment, and then there is a critic that collects the feedback from the environment. The main idea about this framework is to select a policy that is similar, so that it is less probable that a bad policy, a very different policy from the original is selected. This is achieved by clipping over the advantage. And then ...

Reading Time: 1 minute ·  By Xuanqiang Angelo Huang

Measure Theory

Ultima modifica: September 18, 2022 9:43 AM Primo Abbozzo: September 16, 2022 9:52 AM Studi Personali: Yes Elementi di ripasso Measure Theory Introduzione Requirements of the measure function Vorremmo cercare di estendere il concetto di misurabilità a gruppi molto più ampi di un singolo intervallo, vorrei creare una funzione che sia in grado di misurare degli insiemi. *su vedrà che sono impossibili). Impossibilità di questi requirements (assurdo) Costruzione dell’insieme di interesse ...

Reading Time: 2 minutes ·  By Xuanqiang Angelo Huang