(Lezione 01.03 · 18 minuti · Nessun sensore · Per tutti)

Come impara un modello.

Dentro un modello non c'è nessuna regola scritta a mano. Ci sono milioni di numeri che all'inizio sono casuali e che l'addestramento aggiusta un poco alla volta. Qui segui una foto dentro la rete e guardi i numeri che imparano.

Cosa impari

Come una foto diventa una tabella di numeri
Cosa fanno un neurone, uno strato e i pesi
Perché imparare vuol dire far scendere un errore
Perché addestrare costa tanto e usare il modello costa poco

Ti serve sapere

Modello01.01 · capitolo 1

Se non ti ricordi una di queste cose, il link ti porta al capitolo che la spiega.

Come vuoi seguirla

Preparo la scena…

01 I numeri
Per il modello una foto è una tabella di numeri.

Il modello non vede colori, legge numeri. Una foto da 224 per 224 pixel diventa una tabella con 224 righe e 224 colonne. In ogni casella ci sono tre numeri da 0 a 255, uno per il rosso, uno per il verde e uno per il blu. Una tabella così si chiama tensore.

In pratica. Anche il suono e il movimento diventano tabelle di numeri. Per questo gli stessi modelli funzionano con sensori così diversi.
02 Il neurone
Un neurone fa una somma pesata.

Il pezzo più piccolo di una rete è il neurone. Riceve alcuni numeri e moltiplica ognuno per un suo peso. Poi somma tutto e decide quanto passare avanti. I pesi sono i numeri che il modello regola mentre impara. Si chiamano anche parametri.

In pratica. MobileNet ha circa 3,5 milioni di parametri. Un modello che scrive testo ne ha un miliardo o più. È quel numero a dire quanta memoria serve.
03 Gli strati
Strato dopo strato, dal semplice al complicato.

Tanti neuroni uno accanto all'altro formano uno strato, tanti strati uno dopo l'altro formano una rete neurale. Con le immagini i primi strati si accendono per bordi e colori. Quelli in mezzo per forme e trame. Gli ultimi per cose intere, come una foglia o una macchia.

In pratica. Più strati vuol dire più calcoli e più memoria. Le reti per telefono ne hanno qualche decina, costruite per fare pochi calcoli in ognuno.
04 La risposta
Alla fine esce una probabilità per ogni risposta.

L'ultimo strato ha un neurone per ogni risposta possibile, e ogni risposta si chiama classe. I numeri che escono diventano probabilità che sommate fanno cento. Il modello può dire 92 per cento sana, 6 per cento malata e 2 per cento altro.

In pratica. Una probabilità alta vuol dire che il modello è sicuro, non che ha ragione. A volte è sicurissimo e sbaglia.
05 L'errore
Imparare vuol dire sbagliare un po' meno.

All'inizio i pesi sono casuali e il modello tira a indovinare. Gli si mostra una foto insieme alla risposta giusta e si misura con un numero quanto ha sbagliato. Quel numero si chiama errore, o loss in inglese. Tutto l'addestramento serve a farlo scendere.

In pratica. L'errore si calcola su un gruppetto di foto alla volta, di solito da 16 a 64. Con una foto sola la correzione andrebbe troppo di qua e di là.
06 La discesa
Si scende la valle un passo alla volta.

Immagina l'errore come una valle nella nebbia. Non vedi il fondo, ma senti da che parte scende il terreno sotto i piedi. Il modello calcola per ogni peso da che parte scende l'errore e fa un piccolo passo in quella direzione. Questo modo di imparare si chiama discesa del gradiente.

In pratica. Un giro completo su tutte le foto si chiama epoca. Un modello piccolo ne fa da qualche decina a qualche centinaio, poi ci si ferma.
07 Usare il modello
Addestrare costa tanto, usare costa poco.

Per addestrare servono tante foto, tanti passi e tanti calcoli, a volte giorni su computer potenti. Usare il modello già pronto è un'altra cosa. La foto entra, i numeri attraversano gli strati una volta sola e la risposta esce. Questo uso si chiama inferenza, ed è il lavoro che fa il telefono.

In pratica. Sul telefono si può anche addestrare, se si impara solo l'ultima parte del modello. È quello che farai nel laboratorio, con poche decine di foto.

01 / 07

(Approfondisci)

Qualche numero in più.

(01)

Quanti calcoli fa una rete

ResNet-50, una rete famosa del 2015, ha circa 25 milioni di parametri e per ogni foto fa circa 4 miliardi di moltiplicazioni seguite da una somma. MobileNet v2, pensata per i telefoni, ha 3,5 milioni di parametri e ne fa circa 300 milioni. Sono più di dieci volte meno, con un'accuratezza di poco inferiore.

Con i pesi scritti come numeri decimali a 32 bit, cioè 4 byte l'uno, MobileNet v2 occupa circa 14 MB. Con la quantizzazione a 8 bit scende sotto i 4 MB.

3,5 Mparametri di MobileNet v2
300 Mmoltiplicazioni per ogni foto
14 MBi suoi pesi a 32 bit

(02)

Quanto è lungo un passo

La lunghezza del passo nella discesa si chiama learning rate. Se è troppo lunga il modello salta da una parte all'altra della valle e non si ferma mai sul fondo. Se è troppo corta scende così piano che non arriva. Un valore di partenza molto usato è 0,001.

Ogni passo sposta ogni peso con la stessa regola. Il nuovo peso è il peso di prima meno il learning rate moltiplicato per la pendenza dell'errore rispetto a quel peso.

peso = peso - learning_rate * pendenza

(03)

Da dove arriva la pendenza

Per sapere come muovere milioni di pesi, il modello calcola l'errore alla fine e poi lo riporta indietro strato per strato, fino all'inizio. Ogni strato riceve la sua parte di colpa e la divide tra i suoi pesi. In inglese questo giro all'indietro si chiama backpropagation.

Nessuno lo scrive a mano. Librerie come PyTorch e TensorFlow calcolano da sole tutte le pendenze. Nel browser lo fa TensorFlow.js, la libreria che usa il laboratorio.

(Prova sul telefono)

Insegna a una rete piccola

Tocca il foglio per mettere dei punti gialli e dei punti neri, poi premi Addestra. Se tocchi un punto già messo lo togli. Una rete piccolissima prova a separarli e il colore dello sfondo mostra cosa ha imparato. Sotto vedi l'errore che scende.

Lo strumento ha bisogno di JavaScript acceso.

Prova a togliere i neuroni nascosti. Senza strato nascosto la rete sa tracciare solo una linea dritta, e i punti in cerchio non riesce a separarli. Poi rimetti 8 neuroni e prova un passo troppo lungo. Guarda l'errore che salta.

(Verifica)

4 domande per chiudere la lezione.

Quando rispondi a tutte, la lezione risulta fatta e sulla mappa la sua pietra diventa gialla. Conta rispondere, non il punteggio.

(01)

Cosa sono i pesi di una rete neurale?
(02)

Il modello dice 97 per cento malata. Cosa puoi concludere?
(03)

Cosa fa il telefono quando riconosce una foto con un modello già addestrato?
(04)

Durante l'addestramento l'errore salta su e giù senza scendere. Cosa provi per primo?

Parole nuove, e dove sono spiegate

Tensorecapitolo 1
Parametrocapitolo 2
Rete neuralecapitolo 3
Classecapitolo 4
Funzione di errorecapitolo 5
Discesa del gradientecapitolo 6
Epocacapitolo 6
Learning rateApprofondisci
Inferenzacapitolo 7

Fonti e letture

Per chiudere la lezione rispondi alla verifica

← Cosa c'è dentro il tuo telefono Torna alla mappa

(Prossima lezione · 01.04) La mappa dei modelli