(Lezione 05.03 · 20 minuti · Nessun sensore · Per tutti)

Un modello linguistico in tasca.

Un modello che scrive può stare in un telefono, se è abbastanza piccolo. Qui fai i conti di memoria e velocità con i numeri veri, e scopri cosa sanno fare bene questi modelli e dove inventano.

Cosa impari

Come un modello linguistico scrive, un token alla volta
Come si calcola quanta memoria serve e quanti token al secondo aspettarsi
Cos'è il contesto e perché un telefono ne regge poco
Per cosa usare un modello piccolo e per cosa no

Ti serve sapere

Se non ti ricordi una di queste cose, il link ti porta al capitolo che la spiega.

Come vuoi seguirla

Preparo la scena…

01 Il gioco
Un modello linguistico indovina il prossimo pezzo.

Un modello linguistico fa una cosa sola. Legge un testo e stima quale token^05.01 viene dopo. Lo aggiunge, rilegge tutto e stima il successivo, un pezzo alla volta. Da questo gioco ripetuto nascono risposte, riassunti e traduzioni. Un modello di questo tipo abbastanza piccolo da stare in un telefono si chiama SLM.

In pratica. Quando un modello sbaglia un fatto con sicurezza, ricorda il gioco. Non cerca la verità, sceglie il pezzo che suona più probabile.
02 I parametri
Miliardi di pesi, da tenere in memoria.

La taglia di un modello si dice in parametri^01.03. Gemma 3 1B di Google ne ha un miliardo, Llama 3.2 3B di Meta tre miliardi. I modelli grandi nei centri dati ne hanno centinaia di miliardi. Per rispondere, tutti i parametri devono stare nella RAM^01.02, la memoria di lavoro del telefono.

In pratica. Guarda quanta RAM ha il tuo telefono nelle impostazioni. Sistema e app ne usano già una buona parte, quindi per il modello resta circa la metà.
03 I bit
Ogni peso occupa due byte, oppure mezzo.

Scritto in modo normale ogni peso occupa 2 byte. Un modello da un miliardo di pesi pesa quindi 2 GB. Con la quantizzazione^01.05 a 4 bit ogni peso occupa mezzo byte, e lo stesso modello scende intorno ai 600 MB. Perde un po' di qualità, ma ci sta in quasi ogni telefono recente.

In pratica. Il conto veloce è questo. Miliardi di parametri per i bit, diviso otto, dà i gigabyte. Tre miliardi a 4 bit fanno un gigabyte e mezzo, più un po' di margine.
04 La velocità
La memoria decide quanti token al secondo.

Per ogni token che scrive, il modello rilegge tutti i suoi pesi dalla memoria. Se il modello pesa 1,5 GB e il telefono sposta 60 GB al secondo, non si va oltre 40 token al secondo. Nemmeno con la NPU^01.02 più potente. Nella pratica se ne ottiene una parte. Per leggere comodamente ne bastano una decina.

In pratica. Un modello più piccolo è anche più veloce a scrivere. Sullo stesso telefono, metà dei pesi vuol dire quasi il doppio dei token al secondo.
05 Il contesto
Il modello ricorda solo un certo numero di token.

Oltre ai pesi, il modello tiene in memoria la conversazione fin lì, che si chiama contesto. Più è lunga, più memoria occupa e più tempo passa prima della prima parola. Su un telefono qualche migliaio di token va bene, cioè qualche pagina. Incollare un libro intero in un modello piccolo non funziona.

In pratica. Per lavorare su documenti lunghi non incollarli interi. Cerca prima i pezzi giusti con la ricerca per significato^05.02 e dai al modello solo quelli.
06 Cosa sa fare
Bravo a riscrivere, debole sui fatti.

Un modello da uno a tre miliardi di parametri riassume una mail e corregge un testo. Sa anche riscrivere una frase in un altro tono e trovare date e nomi. Sui fatti invece sbaglia spesso, perché nei suoi pesi c'è poco spazio per ricordare il mondo. Inventa con sicurezza date, citazioni e nomi. Si dice che allucina.

In pratica. Usa i modelli piccoli su testi che gli dai tu, non su domande di cultura generale. Riassumere quello che ha davanti è molto più sicuro che ricordare.
07 Nei telefoni
Molti telefoni ne hanno già uno dentro.

Dalla fine del 2023 alcuni telefoni hanno un modello linguistico nel sistema. Google ha messo Gemini Nano nei Pixel, Apple un modello di circa 3 miliardi di parametri negli iPhone con Apple Intelligence. Riassumono notifiche e correggono testi senza mandare niente in rete. Per le richieste difficili passano a un modello più grande nel cloud.

In pratica. Prova il riassunto delle notifiche o la correzione del testo in modalità aereo. Se funziona, sta lavorando il modello dentro il telefono.

01 / 07

(Approfondisci)

Qualche numero in più.

(01)

Il conto della memoria

La tabella mostra quanto pesano alcuni modelli aperti. La colonna a 16 bit è il peso completo, quella a 4 bit la versione quantizzata che si usa sui telefoni. Ai pesi va aggiunta la memoria del contesto, qualche centinaio di MB per qualche migliaio di token.

Su un telefono con 8 GB di RAM stanno comodi i modelli fino a 3 o 4 miliardi a 4 bit. Quelli da 8 miliardi chiedono un telefono di punta con 12 o 16 GB.

Modello	Parametri	A 16 bit	A 4 bit
Gemma 3 1B	1 miliardo	2 GB	circa 0,6 GB
Llama 3.2 3B	3,2 miliardi	6,4 GB	circa 1,8 GB
Phi-3.5 mini	3,8 miliardi	7,6 GB	circa 2,2 GB
Gemma 3 4B	4 miliardi	8 GB	circa 2,5 GB
Llama 3.1 8B	8 miliardi	16 GB	circa 4,7 GB

(02)

Leggere è veloce, scrivere è lento

Un modello lavora in due tempi. Prima legge tutta la domanda, e lo fa in parallelo, tanti token insieme. Qui conta la potenza di calcolo, e la NPU aiuta molto. Poi scrive, un token alla volta, e ogni token chiede di rileggere tutti i pesi. Qui conta la velocità della memoria.

Per questo sui telefoni la risposta comincia dopo un attimo e poi scorre a velocità costante. Una domanda lunga allunga l'attesa iniziale, una risposta lunga allunga il resto. Il conto della memoria del capitolo sulla velocità vale per la seconda parte.

(03)

Provarli sul tuo telefono

Ci sono app gratuite che scaricano un modello aperto e lo fanno girare in locale. Google AI Edge Gallery, su Android, prova i modelli Gemma e misura i token al secondo. PocketPal e MLC Chat funzionano anche su iPhone. Nel browser, con WebGPU, c'è WebLLM.

Ogni modello si scarica una volta, da qualche centinaio di MB a qualche GB, poi funziona in modalità aereo. È il modo più diretto per vedere con i tuoi occhi i conti di questa lezione, compreso il telefono che dopo qualche minuto si scalda e rallenta.

(Prova sul telefono)

Ci sta nel mio telefono?

Scegli un modello, i bit dei pesi, la RAM e il tipo di telefono. Lo strumento fa i conti di questa lezione, quanto pesa, se ci sta nella memoria e quanti token al secondo può scrivere al massimo.

Lo strumento ha bisogno di JavaScript acceso.

Sono conti di massima, fatti con le regole della lezione. I modelli che si scaricano, come quelli nella tabella del primo approfondimento, pesano spesso un po' di più. Per il tuo telefono vero prova una delle app del terzo approfondimento e confronta.

(Verifica)

4 domande per chiudere la lezione.

Quando rispondi a tutte, la lezione risulta fatta e sulla mappa la sua pietra diventa gialla. Conta rispondere, non il punteggio.

(01)

Un modello ha 3 miliardi di parametri quantizzati a 4 bit. Quanto pesa, più o meno?
(02)

Perché un modello più piccolo scrive anche più in fretta?
(03)

Per cosa conviene usare un modello linguistico piccolo?
(04)

Vuoi fargli usare un manuale di 300 pagine. Cosa fai?

Parole nuove, e dove sono spiegate

Modello linguistico piccolocapitolo 1
Contestocapitolo 5
Allucinazionecapitolo 6

Fonti e letture

Per chiudere la lezione rispondi alla verifica

← Classificare e cercare testi sul telefono Torna alla mappa

(Prossima lezione · 05.04) Modelli che vedono e parlano