Equivalenza dei tipi (2) Quando possiamo dire che due tipi siano uguali? Solitamente vengono utilizzati due metodi: Equivalenza Nominale Quando un nuono tipo introduce un nuovo nome diverso fra tutti i presenti. Credo così vada golang. Quindi in questo caso si può dire che un tipo è equivalente solamente a sé stesso. Vogliamo fare in questo modo perché se definiamo un nuovo tipo solitamente dovrebbe avere funzioni diverse, quindi è giusto che sia diverso da uqello iniziale. ...
Origini di sfocatura <img src="/images/notes/image/universita/ex-notion/Immagini/Untitled.png" style="width: 100%" class="center" alt="image/universita/ex-notion/Immagini/Untitled"> Rumore causata da problemi fisici che sono errori di lettura del segnale analogico Questo si indica anche come errore gaussiano bianco e si può considerare additivo. Rumore causato dalla digitalizzazione, quindi dalla discretizzazione di essa. Slide formalizzazione errori per sfocatura Point spread function Un unico pixel bianco sembra influenzare il suo ambiente nero, come in immagine Vorremmo utilizzare delle funzioni ce siano in grado di approssimare questa funzione. ...
Introduzione Metodi alternativi di gestione degli errori (3) A volte le computazioni falliscono. Potremmo gestirle con i result come accennato in Polimorfismo, però diventa molto macchinoso fare tutte le funzioni che debbano inoltrare solamente delle results. bisogna trovare un modo più naturale. Ecco che arriva una gestione delle eccezioni direttamente nel linguaggio. Si tratta un sistema di comunicazione degli errori. ALTRI METODI Results, stile monadico, vedi sopra. definire dei valori eccezionali (questo si va spesso in C) Il chiamato dice al chiamante una cosa da chiamare quando fallisce. Diciamo inversione del controllo perché in questo caso è il chiamato che dice cosa fare. Ma rende il codice poco composizionale, quindi difficile da seguire. (Questa è la soluzione molto più simile alla gestione effettiva degli errori). Ma nelle eccezioni vere non è il chiamato che ritorn al’indirizzo da eseguire ma è il runtime che decide cosa andare ad eseguire. Questa cosa non interrompe il flusso del calcolo Con le eccezioni vogliamo trasferire il controllo a un gestore delle eccezioni questo gestore solitamente si trova sulla stack (va a risalire tutta la stack di chiamata fino a raggiungere questo gestore). ...
Note: Questo corso è troppo astratto. Più che probabilità tratta di teoria della Misura. Quindi affossato… Link della serie: https://www.youtube.com/watch?v=172m7qVy_FQ&list=PLrb6X_RiBI94b6dzCx-QwM-r0aZpJyPxS Campo (di probabilità) Nota: 2 e 3 ⇒ 4 2 e 4 ⇒ 3 Quindi 3 e 4 sono interscambiabili, e si potrebbe eliminare uno dei due. Anche il fatto che il vuoto sia presente in F si può omettere. combinando 1 e 2 ottengo il vuoto (complementare dell’insieme che prenda tutto). ...
1 Calcolo dei numeri finiti Il calcolo è numerico perché si differenzia rispetto a un calcolo normale perché è finito. 1.1 Errore nei calcoli 1.1.1 Tipologie di errore (5) Errore di misura, dovuto alle imperfezioni dello strumento di misura dei dati del problema. Errore di troncamento, quando un procedimento infinito viene realizzato come procedimento finito. (esempio: calcolo del valore di una funzione tramite sviluppo in serie, perché dato che l’algoritmo deve essere finito, devo prima o poi interrompere il calcolo, ecco qui l’errore). Errore inerente, dovuto al fatto che i dati di un problema non sono in una forma buona diciamo Errore di rappresentazione (simil troncamento) non sempre appartengono all’insieme $\mathbb{F}$ dei numeri rappresentabili e quindi vengono approssimati. Errore algoritmico, dovuto al propagarsi degli errori di arrotondamento sulle singole operazioni in un procedimento complesso. 1.1.2 Misura dell’accuratezza Anche per l’accuratezza di una misura utilizziamo degli errori (questi tipi di errori li hai anche studiati in fisica durante il liceo). ...
The human ability of making analogies proceeds in such a way as to keep complexity minimal. Perché facciamo questo? Perché è la cosa più semplice da fare! Anche su Vapnik’s dimensions è simile questa idea! Occam razor, Epicuro, con Solomonoff che ha risolto problema dell’induzione che Hume pensava di fare con abitudini. Attualmente IQ tests provano a misurare la capacità di estendere questo. Analogia Studiamo l’analogia come oggetto matematico perché sembra essere una capacità molto difficile da generalizzare e utilizzare nelle macchine. ...
Quick introduction Si assume che la descrizione più intelligente di un qualcosa è la stringa più corta che descrive quella, un po’ forse è arbitrario, perché minore complessità, non è detto che sia direttamente relazionata con la difficoltà di descriverla. Nel caso di AIT, diciamo che una cosa random non è compressibile, altrimenti posso scriverla in modo più compatto. È importante stabilire che l’alfabeto che abbiamo per rappresentare qualcosa è fissato a priori. Qualunque cosa che possiamo codare si può analizzare da questo punto di vista della complessità. ...
Scalare Scalare e gradiente $$ \varphi(x, y, z) : \mathbb{R}^{3} \to \mathbb{R} $$$$\vec{\nabla}\varphi = ( \frac{\delta\varphi}{\delta x}, \frac{\delta\varphi}{\delta y}, \frac{\delta\varphi}{\delta z}) = \frac{\delta\varphi}{\delta x} \hat{i} + \frac{\delta\varphi}{\delta y} \hat{j} + \frac{\delta\varphi}{\delta z} \hat{k}$$ Se consideriamo il gradiente da solo è un campo vettoriale (dice la direzione della derivata multidimensionale). Gradiente in coordinate polari Questo è un po’ più difficile da gestire, però è abbastanza facile una volta che si fanno certe osservazioni. Sappiamo che $dV = \vec{\nabla} V \cdot d\vec{s}$, TODO: finire la dimostrazione, è descritta bene a pagina 47 del mazzoldi. ...
Processo design del database Il design Some design steps (3) (non impo) How to gather requirements? Come si può raccogliere i dati degli utilizzatori? parlare col il personale che dovrà utilizzare questi sistemi Documentazione esistente Interview di persone che dovrà utilizzare queste risorse O Moduli per fare sampling Top-down approach La cosa brutta è che questi requisiti non possono essere standardizzati, ci sono molte necessità, molto diverse fra i loro, quindi è utile andare a parlare con gli esperti e capire cosa abbiano bisogno per i dati. Consiglio del prof. è partire dai senior e poi scendere, perché quelli in alto hanno un punto di vista più ampio ma con meno dettagli diciamo. ...
https://huyenchip.com/2023/05/02/rlhf.html è un blog post che lo descrive in modo abbastanza dettagliato e buono. Introduzione a RLHF Questo è il processo che è quasi la migliore per la produzione di LLM moderni (maggior parte si basano su questo per dire). Struttura generale Si può dire che RLHF si divida in 3 parti fondamentali Completion il modello viene allenato a completare parole dal web,solitamente è molto inutile Fine tuning per le singole task, per esempio riassumere, rispondere in certo modo etc. Reinforcement Learning basato su un reward model scoperto. Partiamo con l’approccio di reinforcement learning che è la parte un po’ più interessante in questo momento ...