Ripasso di Dal modello all'app.
Dal modello all'app in dodici concetti e sette domande nuove, dalle misure sul telefono all'app che funziona senza rete e dice dove sbaglia. Se una risposta non torna, sotto la spiegazione trovi il capitolo da rileggere.
I concetti chiave.
- Accuratezza
La quota di risposte giuste su tutti gli esempi di prova. È il voto più semplice, ma con classi sbilanciate inganna, e da solo non dice quali errori fa il modello.
- Matrice di confusione
Una tabella che incrocia le risposte giuste con quelle date dal modello. Sulla diagonale ci sono i successi, fuori ci sono gli scambi, per esempio malata presa per sana.
- Precisione e richiamo
La precisione dice quante delle volte che il modello risponde sì ha ragione. Il richiamo dice quanti dei casi veri riesce a trovare. Di solito se ne alza uno e si abbassa l'altro.
- Quantizzazione
Scrivere i pesi con numeri più semplici, per esempio interi a 8 bit al posto di decimali a 32. Il modello diventa circa quattro volte più piccolo e più veloce, e di solito perde poco.
- Calibrazione
Far passare nel modello un centinaio di esempi veri prima di quantizzarlo, per scoprire l'intervallo dei valori tra gli strati e mettere i gradini nel posto giusto.
- Potatura
Pruning in inglese. Si tolgono i pesi e i canali che contano poco per avere un modello più piccolo e più veloce.
- Distillazione
Un modello piccolo, lo studente, impara a imitare le risposte di un modello grande, l'insegnante. Spesso va meglio dello stesso modello piccolo addestrato da solo.
- Motore di inferenza
Il programma che legge il file di un modello e fa i calcoli sul dispositivo, scegliendo tra CPU, GPU e NPU. LiteRT, Core ML, ONNX Runtime ed ExecuTorch sono motori.
- PWA
Progressive web app. Una pagina web che si aggiunge alla schermata home, si apre a tutto schermo e funziona anche senza rete, senza passare dagli store.
- Service worker
Un piccolo programma che il browser installa accanto a una pagina. Salva pagine, file e modelli e li restituisce anche senza rete.
- Federated learning
Tanti dispositivi migliorano lo stesso modello senza spedire i propri dati. Ognuno impara in locale e manda solo le modifiche ai pesi.
- Bias
Quando un modello sbaglia più spesso con un gruppo di persone, per esempio voci con un accento o pelle più scura. Di solito succede perché nei dati quel gruppo c'era poco.
7 domande che nelle lezioni non c'erano.
Mettono insieme le lezioni del corso. Dopo ogni risposta c'è la spiegazione e il punto da rileggere. Il ripasso non cambia la mappa.
-
Un'app ti avvisa quando la caldaia fa un rumore strano. Chi la usa si lamenta di troppi avvisi inutili. Quale numero deve salire?
Gli avvisi inutili sono falsi allarmi. La precisione dice quante volte il modello ha ragione quando dice sì. Spostando la soglia la precisione sale, e il richiamo scende un po'. Lo spiega la 06.01, capitolo 3 →
-
Dopo la quantizzazione a 8 bit l'accuratezza totale scende di mezzo punto. Puoi stare tranquillo?
Il totale può nascondere una classe che perde quasi tutto. La matrice di confusione del modello quantizzato mostra classe per classe dove ha cominciato a sbagliare. Lo spiega la 06.02, capitolo 4 →
-
Un modello grande capisce bene se una recensione è positiva, ma è troppo pesante per il telefono. Hai poche recensioni con l'etichetta e migliaia senza. Cosa provi?
Per distillare non servono nuove etichette. L'insegnante risponde con le sue percentuali anche sugli esempi senza risposta, e lo studente piccolo impara da tutti. Lo spiega la 06.03, capitolo 4 →
-
Vuoi che il tuo modello giri sulla NPU del telefono. Cosa fai quando lo converti?
Le NPU sono fatte per i conti tra interi a 8 bit, e molte con i numeri a virgola non lavorano proprio. Dal browser, per ora, la NPU non si raggiunge. Lo spiega la 06.02, capitolo 3 →
-
Hai esportato il modello da PyTorch in ONNX. Prima di misurare i millisecondi, cosa controlli?
Ogni conversione può cambiare le risposte. Fai passare gli stessi cento esempi nei due modelli e confronta le uscite. Se non tornano, guarda prima come prepari l'ingresso. Lo spiega la 06.04, Approfondisci →
-
Hai un modello nuovo, più preciso sul computer. Prima di pubblicarlo nella tua PWA, cosa fai?
Un modello più preciso sul computer può essere più lento o più pesante in tasca. I numeri che contano si prendono sul telefono di riferimento, prima di pubblicare. Lo spiega la 06.05, capitolo 4 →
-
Il tuo modello dei gesti ha il 94 per cento di accuratezza. Con le persone mancine scende al 70. Cosa scrivi nell'app?
La trasparenza dice dove il modello sbaglia, con numeri veri. E il gruppo che resta indietro ti dice quali esempi mancano nel dataset. Lo spiega la 06.06, capitolo 6 →