(Lezione 06.03 · 16 minuti · Nessun sensore · Per tutti)

Potare, distillare, scegliere l'architettura.

Oltre a usare meno bit, un modello si alleggerisce togliendo i pezzi che servono poco, facendolo imitare a uno più piccolo, o partendo da una rete nata per il telefono. Qui vedi le tre strade e in che ordine usarle.

Cosa impari

Cos'è la potatura e quando rende davvero il modello più veloce
Come un modello piccolo impara da uno grande
Perché conviene partire da un'architettura pensata per il telefono

Ti serve sapere

Se non ti ricordi una di queste cose, il link ti porta al capitolo che la spiega.

Come vuoi seguirla

Preparo la scena…

01 Tre strade
Un modello più piccolo si ottiene in tre modi.

Un modello troppo pesante per il telefono si può alleggerire anche oltre la quantizzazione^01.05. Si tolgono i pezzi che servono poco. Si insegna a un modello piccolo a imitarne uno grande. Oppure si parte da una rete pensata per il telefono. Spesso le strade si usano insieme.

In pratica. Prima di alleggerire, scrivi quanto deve pesare e quanto deve essere veloce. Senza un obiettivo si continua a limare senza sapere quando fermarsi.
02 Potare
Molti pesi sono quasi zero, e si possono togliere.

Dopo l'addestramento molti pesi sono vicinissimi a zero e contano poco. La potatura li mette a zero del tutto. Si pota un po', si riaddestra per recuperare, e si ripete. In molte reti si può togliere metà dei pesi perdendo quasi niente in accuratezza.

In pratica. Mettere pesi a zero non basta a rendere il modello più veloce. Il telefono moltiplica anche gli zeri, a meno che siano raccolti in blocchi o che si tolgano canali interi.
03 Canali interi
Togliere canali interi accelera davvero.

Se invece di pesi sparsi si tolgono canali interi, cioè interi filtri di uno strato, la rete diventa davvero più stretta. Ogni strato ha meno lavoro, e il telefono lo sente subito. Si scelgono i canali che contribuiscono meno. Si perde un po' più che con la potatura sparsa, ma il guadagno si vede nei millisecondi.

In pratica. Misura la latenza^01.01 dopo ogni potatura. Un modello più piccolo sulla carta a volte non è più veloce sul telefono.
04 L'insegnante
Un modello grande insegna a uno piccolo.

Un modello grande, l'insegnante, risponde a ogni esempio con le sue percentuali. Tazza 70, bicchiere 25, chiavi 5. Un modello piccolo, lo studente, impara a dare le stesse percentuali, oltre alla risposta giusta. In quelle sfumature c'è quello che l'insegnante ha capito, per esempio che tazza e bicchiere si somigliano. Si chiama distillazione.

In pratica. Per distillare non servono nuove etichette. L'insegnante può etichettare migliaia di esempi senza risposta, e lo studente impara da tutti.
05 Anche il testo
Anche i modelli che scrivono si distillano.

Molti modelli linguistici piccoli nascono così. Gemma 3 nelle taglie piccole è stato addestrato anche imitando un modello più grande. DistilBERT, nel 2019, teneva il 97 per cento delle capacità di BERT con il 40 per cento di pesi in meno. Per il telefono è la strada più usata per avere un modello piccolo ma sveglio.

In pratica. Se usi un modello grande di un servizio per creare esempi per uno piccolo, leggi le condizioni d'uso. Alcuni servizi vietano di usare le loro risposte per addestrare altri modelli.
06 L'architettura
Alcune reti nascono già per il telefono.

Invece di rimpicciolire una rete grande, si può partire da una fatta per il telefono. MobileNet divide ogni filtro in due passi leggeri. EfficientNet cresce in profondità, larghezza e risoluzione tutte insieme, in proporzione. MobileNetV4, del 2024, è stata disegnata misurando i millisecondi su telefoni e chip veri.

In pratica. Prima di alleggerire un modello grande, cerca se esiste una rete pensata per il telefono per il tuo compito. Spesso fa meglio, e con meno fatica.
07 Insieme
Le tecniche si sommano, nell'ordine giusto.

Un percorso tipico parte da un'architettura per il telefono. Si distilla da un modello grande per recuperare precisione. Si potano i canali che servono meno. Alla fine si quantizza a 8 bit. Ogni passo toglie un po' di peso e un po' di accuratezza, e dopo ognuno si misura di nuovo, sul telefono.

In pratica. Tieni un foglio con peso, millisecondi e accuratezza dopo ogni passo. Se un passo toglie poco peso e molta accuratezza, torna indietro.

01 / 07

(Approfondisci)

Qualche numero in più.

(01)

La lotteria dei biglietti vincenti

Nel 2019 Jonathan Frankle e Michael Carbin, del MIT, hanno fatto un esperimento curioso. Hanno potato una rete addestrata, poi hanno preso la piccola rete rimasta, l'hanno riportata ai pesi di partenza e l'hanno addestrata da sola. Con il 10 o 20 per cento dei pesi arrivava alla stessa accuratezza della rete intera.

L'hanno chiamata ipotesi del biglietto vincente. Una rete grande contiene tante piccole reti, e l'addestramento trova quella fortunata. Non dice come trovarla prima di addestrare, ma spiega perché la potatura funziona così bene.

(02)

La distillazione con la temperatura

Geoffrey Hinton e colleghi hanno descritto la distillazione nel 2015. Il trucco è la temperatura. Prima della softmax i punteggi dell'insegnante si dividono per un numero maggiore di uno, e le percentuali diventano più morbide. Le classi sbagliate ma plausibili ricevono più peso, e lo studente vede meglio le somiglianze.

Lo studente impara con due obiettivi insieme. Imitare le percentuali morbide dell'insegnante e dare la risposta giusta sulle etichette vere, quando ci sono.

p_morbida(i) = exp(z_i / T) / somma di exp(z_j / T)        con T tra 2 e 10

(03)

Come si disegna una rete per il telefono

Le prime reti per il telefono erano disegnate a mano. Dal 2019, con MobileNetV3, Google ha usato la ricerca automatica dell'architettura. Un programma prova migliaia di varianti e le misura su un telefono vero, tenendo quelle con il miglior rapporto tra accuratezza e millisecondi.

MobileNetV4 ha spinto l'idea oltre. È stata cercata perché andasse bene insieme su CPU, GPU, NPU e acceleratori diversi, invece che su un telefono solo. Il risultato sono blocchi semplici che quasi ogni chip esegue bene, e che per questo si usano anche fuori da Google.

(Prova sul telefono)

Il piano per alleggerire

Pensa a un modello che vuoi portare sul telefono, anche quello del tuo progetto. Scrivi gli obiettivi e il primo passo che proveresti. La scheda resta salvata nel tuo browser.

(Verifica)

4 domande per chiudere la lezione.

Quando rispondi a tutte, la lezione risulta fatta e sulla mappa la sua pietra diventa gialla. Conta rispondere, non il punteggio.

(01)

Hai messo a zero metà dei pesi, ma il modello non è più veloce. Perché?
(02)

Nella distillazione, cosa impara lo studente oltre alla risposta giusta?
(03)

Da dove conviene partire per un modello da portare sul telefono?
(04)

In che ordine si usano di solito le tecniche?

Parole nuove, e dove sono spiegate

Potaturacapitolo 2
Distillazionecapitolo 4

Fonti e letture

Per chiudere la lezione rispondi alla verifica

← Quantizzare Torna alla mappa

(Prossima lezione · 06.04) Formati e motori