Algoritmi di Machine Learning
Corso introduttivo in 15 lezioni, con notebook Python
Quindici lezioni per capire come una macchina impara dagli esempi, dalla retta della gelateria fino alle reti neurali. Ogni algoritmo risolve un problema del deposito, il gioco gestionale che ci accompagna per tutto il corso: prevedere le vendite, decidere quanto ordinare, riconoscere gli articoli simili.
Ogni lezione ha una scheda da leggere, un notebook Python da rifare cella per cella e, man mano che sono pronti, un video. Le parole tecniche sono raccolte in un glossario di 168 voci. Il corso è tenuto da Carlo Cassinari.
Le basi
Imparare dagli esempi
- spiegare la differenza tra una regola a mano e una regola imparata dagli esempi
- riconoscere i quattro passi di ogni esempio: i dati, la regola a mano, la regola imparata, il confronto
- usare l'errore medio per dire quale regola funziona meglio
- spiegare perché con pochi dati la regola imparata non è affidabile, e perché bisogna fare attenzione fuori dagli esempi visti
Quanto sbagliamo?
- distinguere i tre modi di imparare (supervisionato, non supervisionato, per rinforzo) e i due tipi di problema supervisionato: regressione e classificazione
- calcolare e confrontare MAE, RMSE e MAPE, e scegliere la misura giusta in base al costo dell'errore
- costruire una baseline e controllare se un modello è migliore della baseline
- usare la regressione lineare con più colonne e leggere i suoi coefficienti
Possiamo fidarci?
- dividere i dati in train, validation e test, e usare ogni parte solo per il suo scopo
- riconoscere l'overfitting confrontando l'errore sui dati noti e sui dati nuovi
- scegliere un modello con la cross-validation, usando TimeSeriesSplit quando i dati sono in ordine nel tempo
- classificare con il k-Nearest Neighbor e leggere gli errori con la matrice di confusione
Classificare
Quanto è probabile?
- calcolare una probabilità contando i casi del passato, e spiegare perché conta la probabilità di partenza
- usare Naive Bayes con informazioni a categorie e spiegare la sua semplificazione: gli indizi trattati come indipendenti
- spiegare perché per una probabilità serve la curva a S e non una retta, e leggere i coefficienti della regressione logistica
- confrontare kNN, Naive Bayes e regressione logistica e scegliere la soglia di decisione in base al costo degli errori, senza usare il test
Dove passa il confine?
- spiegare perché, tra tante rette che separano bene, conviene quella con il margine più largo
- riconoscere i vettori di supporto e spiegare perché sono loro a decidere dove passa il confine
- usare l'impostazione C della SVM quando i gruppi si mescolano, e sceglierla con la cross-validation
- tracciare un confine curvo costruendo una colonna nuova (feature engineering) oppure con il kernel, e riconoscere l'overfitting quando gamma è troppo grande
- dire quando conviene usare una SVM e quando no
Mettiamo tutto insieme
- partire da un problema e riconoscere che tipo di problema è (classificazione)
- scegliere un modello tra quelli visti e usarlo con lo schema fit sul train e predict sul test
- usare lo StandardScaler con i modelli che misurano distanze (scala delle variabili)
- leggere la matrice di confusione e spiegare perché due modelli con la stessa accuratezza possono costare in modo diverso
- presentare un risultato e la scelta del modello a chi deve decidere
Tante domande, tanti voti
- leggere un albero decisionale: domande sì/no, una colonna alla volta, e spiegare come sceglie una domanda con l'impurità di Gini
- riconoscere l'overfitting di un albero senza limiti e scegliere la profondità con la cross-validation
- spiegare il bagging e la random forest: campioni bootstrap, colonne a caso, voto di maggioranza
- distinguere bagging, boosting e voting, e leggere con attenzione l'importanza delle feature
- usare GridSearchCV per scegliere le impostazioni e dare il voto con il test una volta sola
- dire quando conviene un albero, una foresta o il boosting, con esempi d'uso reali
Senza risposte
Chi si somiglia?
- dire che cosa cambia quando gli esempi non hanno la risposta: il clustering è apprendimento non supervisionato
- spiegare i due passi del K-means: assegnare ogni esempio al centro più vicino, spostare ogni centro nella media del suo gruppo
- scegliere il numero di gruppi con il metodo del gomito, la silhouette e l'uso, e spiegare perché serve ninit
- spiegare perché nel clustering lo scaler è indispensabile (scala delle variabili)
- leggere il profilo dei gruppi, dare loro un nome e confrontarli con l'analisi ABC e l'analisi XYZ
- dire quando usare una mixture gaussiana (algoritmo EM): gruppi di forma diversa e probabilità di appartenenza
Quante colonne servono?
- riconoscere due colonne che dicono quasi la stessa cosa, con la correlazione
- spiegare che cosa cerca la PCA: la direzione in cui i punti sono più sparsi (la varianza più grande)
- leggere la varianza spiegata e scegliere quante componenti principali tenere
- leggere i pesi di una componente e darle un nome
- riconoscere un valore anomalo come la giacenza a 99999999 e dire che cosa fa alla PCA, allo scaler e al K-means
- dire quando usare l'analisi discriminante lineare (LDA) invece della PCA
Reti neurali
Come impara una rete?
- spiegare che cosa fa un neurone: una somma con i pesi, poi una funzione di attivazione, e perché con la curva a S è una regressione logistica
- far imparare un percettrone a mano e dire perché un neurone solo non basta quando una retta non separa le categorie
- spiegare che cosa fa uno strato nascosto e usare una rete neurale con MLPClassifier, con lo scaler
- spiegare la discesa del gradiente e riconoscere un tasso di apprendimento troppo piccolo o troppo grande
- riconoscere quando una rete non ha finito di imparare (ConvergenceWarning, epoche) e quando impara a memoria (overfitting)
- usare MLPRegressor per prevedere le vendite e confrontarlo in modo onesto con la baseline e la regressione lineare
Vedere e ricordare
- spiegare che un'immagine è una tabella di pixel e perché una rete neurale sui pixel non riconosce una cifra spostata di un pixel
- calcolare a mano una convoluzione con un filtro 3 × 3 e leggere la mappa delle caratteristiche
- spiegare a che cosa servono la ReLU e il pooling, e che cosa vuol dire condivisione dei pesi in una rete convoluzionale
- seguire passo per passo una cella ricorrente e spiegare come lo stato nascosto si porta dietro (e dimentica) la memoria
- prevedere una serie con una finestra delle ultime settimane e sceglierne la lunghezza con TimeSeriesSplit
- dire quando conviene il deep learning e quando bastano i modelli classici
Progetto e verifica
La catena di montaggio
- scegliere su quali dati addestrare un modello e trasformare uno storico mensile in esempi con lag e mese bersaglio
- inventare colonne utili (feature engineering) senza usare informazioni del futuro (fuga di dati)
- dividere train e test nel tempo, e dire perché con i dati nel tempo non si mescola
- confrontare più modelli di regressione con la stessa misura (MAE) e con una baseline
- scegliere gli iperparametri con GridSearchCV e la cross-validation, senza guardare il test
- scegliere un modello e motivare la scelta: errore, semplicità, stabilità
Dalla previsione alla decisione
- provare un modello su un mese mai visto e spiegare perché il risultato può essere diverso dal test
- decidere con un esperimento se conviene il riaddestramento ogni mese
- calcolare scorta di sicurezza e punto di riordino da previsione, deviazione standard, lead time e livello di servizio
- confrontare la propria decisione con quella di un sistema aziendale, in pezzi e in euro
- presentare in 5 minuti le scelte del gruppo e i loro motivi
Verifica finale
Verifica delle competenze del modulo.