Notes

Queste note sono molto di base. Per cose leggermente più avanzate bisogna guardare Bayesian Linear Regression, Linear Regression methods. Introduzione alla logistic regression Giustificazione del metodo Questo è uno dei modelli classici, creati da Minsky qualche decennio fa In questo caso andiamo direttamente a computare il valore di $P(Y|X)$ durante l’inferenza, quindi si parla di modello discriminativo. Introduzione al problema Supponiamo che $Y$ siano variabili booleane $X_{i}$ siano variabili continue $X_{i}$ siano indipendenti uno dall’altro. $P(X_{i}| Y= k)$ sono modellate tramite distribuzioni gaussiane $\mathbb{N}(\mu_{ik}, \sigma_{i})$ NOTA! la varianza non dipende dalle feature!, questo mi permetterebbe di poi togliere la cosa quadratico dopo, rendendo poi l’approssimazione lineare Per esempio se utilizziamo nelle immagini, avrebbe senso normalizzare pixel by pixel, e non image wide con un unico valore, è una assunzione, che se funziona dovrebbe poi far andare meglio la regressione logistica! $Y$ è una distribuzione bernoulliana. Ci chiediamo come è fatto $P(Y|X)$? ...

This note will mainly attempt to summarize the introduction of some intuitive notions of probability used in common sense human reasoning. Most of what is said here is available here (Jaynes 2003). Three intuitive notions of probability Jaynes presents some forms of inference that are not possible in classical first order or propositional logic, yet they are frequent in human common sense reasoning. Let’s present some rules and some examples along them: ...

Guerre dei browser Prima guerra ~1995 Fra netscape, una forma di rete (?) che poi viene ripresa da firefox da Mozilla, dopo che è stato mandato in bancarotta da Microsoft (che ha ancora con IE una grandissima fetta del mercato in questo primo periodo). Secondo periodo di guerra ~2010 Quando arriva chrome, che vuole creare un browser che risolva tutti i problemi per creare integrazioni sui browser di altre aziende), mentre IE ha perso interesse per nuove features, che in questo periodo sono capi del proprio mercato. ...

“Information theory must precede probability theory, and not be based on it. By the very essence of this discipline, the foundations of information theory have a finite combinatorial character.” Kolmogorov, A. N. (1983). Combinatorial foundations of information theory and the calculus of probabilities. Russian mathematical surveys, 38 (4), 29-40. “it is clear that elements requiring an extremely large number of words for their definition should be considered as having an extremely low probability.” (Borel E., 1909 p. 272). ...

Note matematiche introduttive Vettori ortonormali Questa parte è fatto molto meglio in Inner product spaces. Due vettori si dicono ortonormali se $vv^T = ||v|| = 1$ e sono ortogonali, ossia $v_i v^T_j = 0$ con i e j diversi fra di loro Matrici ortogonale (4) Matrici si dicono ortonomali se le sue colonne sono vettori sono ortonormali Matrici ortonormali sono isometrie, cioè mantengono le distanze. Queste matrici sono tutte non singolari e quadrate per definizione La sua inversa è ortogonale La sua inversa è uguale alla trasposta slide Proprietà matrice ortonormale ...

Next time, use this resource. Di solito è utilizzata per ridurre lo spazio utilizzato trattenendo la maggiore quantità di informazione possibile, utilizzata spesso in Principal Component Analys Enunciato SVD slide Immagine esplicativa Questo è qualcosa che si può applicare a qualunque matrice. Sono di particolare interesse le matrici con numero di colonne maggiore del numero di righe.1 Slide vecchia Relazione valori singolari con AAt Con k ho il numero di numeri non zero che sono il rango della matrice. Questa matrice è particolare, la chiamiamo gramiano ed è sempre definita positiva. ...

Introduzione Per questa parte c’è un sacco di roba in comune con [Tecniche di definizione di semantica (4) Trattiamo alcune caratteristiche che descrivono ad alto livello un linguaggio di programmazione. È da notare che questa parte della spiegazione del linguaggio non è limitante al solo linguaggio di programmazione, è utile per analizzare tutti i linguaggi (tranne la parte di implementazione) Sintassi Relazione fra segni. si occupa di decidere quando una frase è corretta. ...

Basi di dati Cosa è un database? (2) Si potrebbe intendere come un insieme di dati strutturato, utili per certi obiettivi di enterprise, aziende pubbliche o simili (uno delle necessità che la rivoluzione informatica ha più contribuito diciamo.) Un altro significato più importante è Un insieme di dati gestito da un Database Management System Tristemente con questa definizione anche excel è un DBMS… Solitamente sono utilizzati per gestire grandi quantità di dati. ...

This is the classical format that we encounter, it is the format used for relational databases introduced in databases course introduction, introduced in (Codd 1970). Introduzione, i modelli di dati Lista modelli di dati (4) Nel tempo sono stati sviluppati molti modelli di dati: Relational Data Model: This is the most common data model and uses tables to represent data. It organizes data into rows and columns, where each row represents a record, and each column represents an attribute of that record. Relationships between data are established through keys. ...

Vogliamo cercare di restare nel nostro spazio delle soluzioni ammissibili, senza dover stare ad esplorare tutto, vogliamo andare a concentrarci su una parte specifica di essa. Vogliamo utilizzare una struttura fondamentale per i problemi di programmazione lineare, che è quello con cui vogliamo andare a fare. Il fatto è che spostandoci leggermente da un punto tra le soluzioni, possiamo gestire in modo molto semplice il modo con cui si sposta la retta dei valori. ...