(Lezione 06.02 · 16 minuti · Nessun sensore · Per tutti)

Quantizzare.

Scrivere i pesi con meno bit rende un modello quattro volte più piccolo e spesso più veloce. Qui vedi come si fa, quanto si perde davvero e cosa fare quando si perde troppo, fino ai 4 bit dei modelli che scrivono.

Cosa impari

Come si passa da 32 a 8 bit, e perché l'errore di ogni peso è minuscolo
Quanto spazio e quanta velocità si guadagnano
Cosa sono la calibrazione e l'addestramento con i gradini
Perché per i modelli linguistici si scende a 4 bit

Ti serve sapere

Se non ti ricordi una di queste cose, il link ti porta al capitolo che la spiega.

Come vuoi seguirla

Preparo la scena…

01 I pesi
Ogni peso è un numero con la virgola.

Dopo l'addestramento un modello è una lunga lista di pesi^01.03, numeri come 0,0173 o meno 0,84. Di solito ognuno è scritto con 32 bit, cioè 4 byte, e ha circa sette cifre significative. MobileNet v2 ha 3,4 milioni di pesi, quindi pesa quasi 14 MB. Serve davvero tutta quella precisione?

In pratica. Il peso di un modello si stima così. Numero di pesi per byte di ogni peso. Con 32 bit sono 4 byte, con 8 bit uno solo.
02 Meno cifre
Con 256 valori possibili si perde pochissimo.

La quantizzazione^01.05 riscrive ogni peso con meno bit. Con 8 bit un numero può avere solo 256 valori diversi. Si prende l'intervallo dei pesi di uno strato, per esempio da meno 1 a 1, e lo si divide in 256 gradini. Ogni peso va sul gradino più vicino. L'errore di ciascuno è al massimo mezzo gradino.

In pratica. Si quantizza strato per strato, a volte canale per canale. Uno strato con pochi pesi molto grandi allarga l'intervallo e spreca gradini, e lì si perde di più.
03 Un quarto
Un quarto dello spazio, e calcoli più veloci.

Da 32 a 8 bit il modello diventa quattro volte più piccolo. MobileNet v2 passa da 14 a meno di 4 MB. Cambiano anche i calcoli. Le moltiplicazioni tra interi a 8 bit costano molta meno energia di quelle tra numeri con la virgola. E le NPU sono fatte apposta per quelle. Spesso il modello diventa due o tre volte più veloce.

In pratica. Per usare la NPU^01.02 del telefono il modello deve essere quasi sempre a 8 bit. Molte NPU con i numeri a virgola non lavorano proprio.
04 Quanto si perde
Di solito meno di un punto, a volte molto più.

Su molti modelli per immagini la quantizzazione a 8 bit toglie meno di un punto di accuratezza. Non è una regola. Modelli piccoli e già tirati, come alcune versioni di MobileNet, possono perdere parecchio. L'unico modo di saperlo è misurare, sulle stesse foto di prova, prima e dopo.

In pratica. Controlla la matrice di confusione del modello quantizzato, oltre al totale. A volte il modello perde quasi tutto su una classe sola.
05 La calibrazione
Un centinaio di esempi servono a scegliere i gradini.

I pesi si conoscono, ma anche i valori che passano da uno strato all'altro vanno scritti con 8 bit. Per sapere in che intervallo cadono si fanno passare nel modello un centinaio di esempi veri e si guarda dove finiscono. Questo passaggio si chiama calibrazione. Con esempi sbagliati i gradini finiscono nel posto sbagliato.

In pratica. Per la calibrazione usa esempi presi dall'uso vero, con le stesse luci e gli stessi sfondi. Non le foto più pulite che hai.
06 Allenarsi sui gradini
Il modello può imparare a convivere con i gradini.

Se dopo la quantizzazione si perde troppo, c'è un'altra strada. Mentre il modello impara si simulano i gradini, e i pesi si arrotondano come farà il telefono. Così il modello impara a lavorare bene anche con quei numeri. Si chiama addestramento consapevole della quantizzazione, e di solito recupera quasi tutto.

In pratica. Prova prima la quantizzazione semplice, dopo l'addestramento. Passa all'addestramento con i gradini solo se la perdita è troppa, perché bisogna riaddestrare.
07 Quattro bit
Per i modelli che scrivono si scende a quattro.

Per i modelli linguistici la memoria è tutto, quindi si scende a 4 bit, 16 gradini per peso. Servono trucchi in più. I pesi si quantizzano a piccoli gruppi, ognuno con i suoi gradini, e alcune parti restano più precise. Un modello da 3 miliardi di pesi passa così da 6 GB a meno di 2.

In pratica. Sotto i 4 bit la qualità scende in fretta. Prima di scendere ancora, prova un modello più piccolo a 4 bit e confronta.

01 / 07

(Approfondisci)

Qualche numero in più.

(01)

La formula dei gradini

Per ogni strato si scelgono due numeri. La scala, cioè quanto vale un gradino, e lo zero, cioè quale gradino corrisponde allo zero vero. Con pesi da meno 1 a 1 e 256 gradini, la scala vale 2 diviso 255, circa 0,0078.

Per scrivere un peso lo si divide per la scala, si arrotonda e si aggiunge lo zero. Per rileggerlo si fa il contrario. Il peso riletto non è identico all'originale, ma la differenza non supera mai mezzo gradino, cioè circa 0,004 in questo esempio.

q = arrotonda(x / scala) + zero        (un intero tra 0 e 255)
x ≈ scala × (q − zero)

(02)

Strato per strato o canale per canale

Nel 2018 Raghuraman Krishnamoorthi di Google ha confrontato i modi di quantizzare le reti per il telefono. MobileNet v2 quantizzata con una sola scala per strato, dopo l'addestramento, crollava. Con una scala per ogni canale restava vicina all'originale, e con l'addestramento sui gradini recuperava quasi tutto.

Il motivo sta nei filtri di MobileNet che lavorano un canale alla volta. Alcuni canali hanno pesi minuscoli e altri grandi. Con una scala sola per tutti, quelli piccoli finiscono tutti sullo stesso gradino e si perdono. Oggi quasi tutti gli strumenti usano una scala per canale.

(03)

Gli strumenti

Con LiteRT la quantizzazione dopo l'addestramento si chiede al convertitore, insieme a una funzione che fornisce gli esempi per la calibrazione. Core ML ha coremltools, PyTorch ha i suoi strumenti di quantizzazione e ExecuTorch li usa per preparare il modello.

Per i modelli linguistici si usano formati apposta. GGUF di llama.cpp offre molte varianti a 4 bit, come Q4_K_M, e le app per il telefono di solito partono da quelle.

conv = tf.lite.TFLiteConverter.from_saved_model("modello")
conv.optimizations = [tf.lite.Optimize.DEFAULT]
conv.representative_dataset = cento_esempi_veri      # la calibrazione
open("modello_int8.tflite", "wb").write(conv.convert())

(Prova sul telefono)

Quanti bit servono?

Scegli quanti bit usare e guarda due cose. Una foto scritta con meno bit per colore e una fila di pesi posati sui gradini. Sotto, quanto peserebbe MobileNet v2 e quanto sbaglia in media ogni peso.

Lo strumento ha bisogno di JavaScript acceso.

La foto rende l'idea ma esagera. Un modello sopporta i gradini molto meglio dell'occhio, perché gli errori piccoli di tanti pesi in parte si compensano.

(Verifica)

4 domande per chiudere la lezione.

Quando rispondi a tutte, la lezione risulta fatta e sulla mappa la sua pietra diventa gialla. Conta rispondere, non il punteggio.

(01)

Un modello ha 3,4 milioni di pesi a 32 bit. Quanto pesa a 8 bit?
(02)

Con 8 bit, quanto sbaglia al massimo ogni peso?
(03)

A cosa serve la calibrazione?
(04)

Il modello quantizzato perde troppo. Qual è il passo successivo più sensato?

Parole nuove, e dove sono spiegate

Calibrazionecapitolo 5
Addestramento con i gradinicapitolo 6

Fonti e letture

Per chiudere la lezione rispondi alla verifica

← Misurare davvero Torna alla mappa

(Prossima lezione · 06.03) Potare, distillare, scegliere l'architettura