(Lezione 02.02 · 18 minuti · Fotocamera · Primo modello)

Un buon dataset di immagini.

Un modello è bravo quanto le foto da cui impara. Qui vedi gli errori che si fanno scattandole e come evitarli, dalla neve dietro ai lupi fino alle foto di prova che non vanno mai mostrate.

Cosa impari

Perché un modello impara anche quello che non volevi insegnargli
Come scegliere varietà e numero di foto per ogni classe
A cosa serve una classe per dire che non c'è niente
Come dividere le foto senza gonfiare il risultato

Ti serve sapere

Se non ti ricordi una di queste cose, il link ti porta al capitolo che la spiega.

Come vuoi seguirla

Preparo la scena…

01 Le scorciatoie
Il modello impara tutto quello che gli mostri.

Nel 2016 tre ricercatori addestrarono apposta un modello a distinguere lupi e husky, con i lupi sempre sulla neve. Il modello sembrava bravo. In realtà guardava la neve, non l'animale. Imparare un dettaglio che accompagna la risposta al posto della risposta si chiama scorciatoia. Se tutte le tue tazze sono in cucina, il modello rischia di imparare la cucina.

In pratica. Guarda tutte insieme le foto di una classe. Se hanno in comune qualcosa che non è l'oggetto, come lo sfondo o la luce, il modello lo userà.
02 La varietà
Cambia luce, sfondo, distanza e angolo.

Una buona classe somiglia a tutti i modi in cui l'oggetto si presenterà davvero. Fotografa la tazza di giorno e di sera, sul tavolo e sul divano, da vicino e da lontano, dritta e rovesciata. Se hai più tazze, usale tutte. Venti foto diverse valgono più di cento quasi uguali.

In pratica. Scatta ogni gruppo di foto in un posto diverso. Cinque foto in quattro posti battono venti foto sempre nello stesso angolo.
03 L'equilibrio
Ogni classe con più o meno le stesse foto.

Immagina 180 foto di tazze e 20 di chiavi. Un modello che risponde sempre tazza ha ragione nove volte su dieci. La sua accuratezza, cioè la quota di risposte giuste, è del 90 per cento. Sembra ottima e il modello non serve a niente. Quando una classe ha molte più foto delle altre le classi sono sbilanciate, e l'accuratezza da sola inganna.

In pratica. Tieni ogni classe entro il doppio delle altre. Se una resta piccola per forza, guarda gli errori classe per classe oltre al totale.
04 La classe niente
Una classe apposta per dire che non c'è niente.

Un modello sceglie sempre tra le sue classi, anche quando la foto non ne contiene nessuna. La classe niente serve a questo. Raccoglie quello che la fotocamera vede quando l'oggetto non c'è, il tavolo vuoto, il pavimento, una mano che passa. Così anche quei momenti hanno una risposta giusta, invece di una confidenza^02.01 alta e sbagliata.

In pratica. La classe niente deve essere la più varia di tutte, perché il resto del mondo è grande. Mettici anche oggetti che somigliano ai tuoi, come un bicchiere accanto alle tazze.
05 La pulizia
Via i doppioni, e occhio alle foto mosse.

Tenendo premuto il pulsante il telefono scatta dieci foto al secondo, quasi identiche. Per il modello valgono come una sola ma pesano come dieci. Muovi il telefono tra uno scatto e l'altro. Le foto mosse invece si tolgono solo se nell'uso vero non capiteranno. Se il telefono sarà in mano a chi cammina, lasciane qualcuna.

In pratica. Prima di addestrare scorri le foto di ogni classe. In un minuto trovi quelle finite nel posto sbagliato, come una tazza in mezzo alle chiavi.
06 La divisione
Le foto di prova non si mostrano mai.

Prima di addestrare si mettono da parte alcune foto, per esempio una su cinque. Servono alla validazione^01.05, il modello non le vede mai mentre impara. Attento però alle foto gemelle. Se due scatti della stessa sessione finiscono uno per parte, il modello riconosce il gemello e il voto si gonfia. Questo errore si chiama fuga di dati.

In pratica. Dividi per sessione, non per foto. Gli scatti fatti lo stesso giorno nello stesso posto vanno tutti insieme, da una parte o dall'altra.
07 I dati inventati
Da una foto se ne ricavano dieci.

Durante l'addestramento ogni foto si può cambiare un poco a caso. Si ruota di qualche grado, si ritaglia, si schiarisce, si capovolge. Per il modello è una foto nuova, e impara che la tazza resta una tazza anche storta o al buio. Questo trucco si chiama aumento dei dati, in inglese data augmentation.

In pratica. Usa solo le modifiche che capitano anche nella realtà. Ruotare di mezzo giro va bene per una foglia, non per un 6 che diventa un 9.

01 / 07

(Approfondisci)

Qualche numero in più.

(01)

Quante foto servono davvero

Non esiste un numero giusto per tutti i problemi. Con un corpo già addestrato si parte da 20 o 30 foto per classe e si guarda dove il modello sbaglia. Le classi che si somigliano, come due varietà di ulivo, ne chiedono molte di più di due oggetti diversi come tazza e chiavi.

Il modo onesto per saperlo è misurare. Addestra con 10, 20, 40 e 80 foto per classe e segna ogni volta l'accuratezza sulle foto di prova. Se la curva sale ancora, servono altre foto. Se si è appiattita, il problema sta altrove, di solito nella varietà o nelle etichette.

(02)

Un errore che è finito sulle riviste

Nel 2021 un gruppo dell'Università di Cambridge ha esaminato 62 studi che usavano l'intelligenza artificiale per riconoscere il COVID nelle radiografie e nelle TAC del torace. Nessuno era pronto per un ospedale. Uno dei motivi più frequenti erano proprio i dati.

In alcuni studi le immagini dei sani venivano da un archivio di bambini, così il modello imparava a riconoscere i bambini invece della malattia. In altri le stesse immagini comparivano sia tra quelle per imparare sia tra quelle di prova. Sono la scorciatoia e la fuga di dati di questa lezione, fatte da ricercatori esperti.

62studi esaminati
0pronti per l'uso clinico

(03)

Anche le etichette sbagliano

Nel 2021 un gruppo del MIT ha cercato gli errori di etichetta in dieci dataset famosi. Tra le 50.000 foto di prova di ImageNet ne ha trovate quasi 3000 con la risposta sbagliata, circa il 6 per cento. Un cane segnato come un altro cane, un oggetto con il nome di quello accanto.

Nel tuo dataset gli errori sono più facili da trovare, perché le foto le hai scattate tu. Ma capitano, soprattutto quando si raccoglie in fretta. Una foto nella classe sbagliata insegna al modello proprio l'errore che vuoi evitare.

(Prova sul telefono)

Il controllo del dataset

Apri le foto che hai scattato nel laboratorio, o una cartella della galleria con le foto di un tuo problema, e controlla questi punti uno per uno.

(01) Ogni classe ha almeno 20 foto
(02) La classe più grande non ha più del doppio delle foto della più piccola
(03) Ogni classe è stata fotografata in almeno quattro posti diversi
(04) C'è una classe niente, con sfondi vari e oggetti che somigliano ai tuoi
(05) Hai tolto i doppioni e le foto finite nella classe sbagliata
(06) Le foto di prova vengono da una sessione a parte

Sistema i punti che mancano prima di addestrare di nuovo. Quasi sempre migliora il modello più di qualunque impostazione.

(Verifica)

4 domande per chiudere la lezione.

Quando rispondi a tutte, la lezione risulta fatta e sulla mappa la sua pietra diventa gialla. Conta rispondere, non il punteggio.

(01)

Tutte le tazze sono fotografate in cucina, tutte le chiavi sul divano. Cosa rischia di imparare il modello?
(02)

Hai 180 foto di tazze e 20 di chiavi, e il modello ha il 90 per cento di accuratezza. Cosa controlli?
(03)

Perché le foto di prova devono venire da una sessione a parte?
(04)

Quale modifica non conviene per aumentare i dati di un modello che legge le cifre?

Parole nuove, e dove sono spiegate

Scorciatoiacapitolo 1
Classi sbilanciatecapitolo 3
Classe nientecapitolo 4
Fuga di daticapitolo 6
Aumento dei daticapitolo 7

Fonti e letture

Per chiudere la lezione rispondi alla verifica

← Classificare una foto Torna alla mappa

(Prossima lezione · 02.03) Trovare gli oggetti