(Lezione 05.04 · 14 minuti · Nessun sensore · Per tutti)

Modelli che vedono e parlano.

Fotografi il frigorifero e chiedi cosa puoi cucinare. Qui vedi come un modello piccolo fa entrare una foto in un discorso, dove funziona bene e dove sbaglia, e quando conviene un modello più semplice.

Cosa impari

Come una foto diventa qualcosa che un modello linguistico sa leggere
Cosa fa CLIP e perché serve anche per cercare le foto
Gli errori tipici dei modelli piccoli che guardano le immagini

Ti serve sapere

Se non ti ricordi una di queste cose, il link ti porta al capitolo che la spiega.

Come vuoi seguirla

Preparo la scena…

01 La domanda
Una foto e una domanda, una risposta scritta.

Fotografi il frigorifero e chiedi cosa puoi cucinare. Il modello guarda la foto, legge la domanda e risponde con una frase. Un modello che lavora con più tipi di dati insieme, qui immagini e testo, si dice multimodale. Da qualche anno ne esistono di piccoli, che girano anche su un telefono.

In pratica. Prima di usarne uno, chiediti se ti serve davvero una frase. Per sapere se c'è una tazza basta un modello che trova gli oggetti, più piccolo e più affidabile.
02 Occhi e parole
La foto diventa una fila di token.

Il trucco è trasformare la foto in qualcosa che il modello linguistico sa già leggere. Un piccolo modello per immagini taglia la foto in quadratini e trasforma ognuno in un embedding^05.01. Quei numeri entrano nel modello linguistico come se fossero token^05.01 di testo. Per il modello, la foto diventa l'inizio del discorso.

In pratica. Una foto può valere centinaia di token. Occupa il contesto^05.03 come qualche paragrafo di testo e allunga l'attesa prima della prima parola.
03 Il ponte
Immagini e frasi nello stesso spazio.

Per collegare foto e parole si parte spesso da un modello addestrato su milioni di coppie di foto e didascalie. Impara a mettere vicine la foto di un cane e la frase un cane sul prato. Il più noto si chiama CLIP, pubblicato da OpenAI nel 2021. Lo stesso spazio serve anche per cercare le foto scrivendo una parola.

In pratica. Se ti serve solo cercare tra le foto con le parole, basta un modello come CLIP. È molto più leggero di un modello che scrive le risposte.
04 I piccoli
Poche centinaia di milioni di pesi bastano per descrivere.

SmolVLM, pubblicato da Hugging Face nel 2025, esiste anche in una versione da 256 milioni di parametri. Descrive una foto, legge un cartello, risponde a domande semplici. Gemma 3n di Google, pensato per i telefoni, capisce immagini, suoni e testo. Vanno bene su scene chiare e domande dirette.

In pratica. Fai domande precise. Di che colore è l'auto funziona meglio di descrivi tutto quello che vedi.
05 Dove sbagliano
Contano male, leggono piccolo, inventano.

I modelli piccoli sbagliano in modi prevedibili. Contano male gli oggetti, oltre tre o quattro. Leggono male le scritte piccole, perché la foto viene rimpicciolita prima di entrare. E a volte descrivono cose che non ci sono, come una persona in una stanza vuota. È la stessa allucinazione^05.03 dei modelli che scrivono, applicata a quello che vedono.

In pratica. Se ti serve un numero preciso, usa un modello che trova gli oggetti uno per uno. Il modello che descrive va bene per il senso generale, non per i conti.
06 La privacy
La foto che non esce dal telefono.

Le foto contengono volti, documenti, l'interno di casa. Mandarle a un servizio nel cloud vuol dire fidarsi di chi le riceve. Un modello multimodale piccolo le guarda dentro il telefono. È più lento e meno bravo di uno grande, ma per leggere un'etichetta o descrivere uno scontrino spesso basta.

In pratica. Per chi vede poco, farsi descrivere l'ambiente senza rete è molto utile, anche dove la connessione non arriva. È uno dei casi in cui un modello piccolo in tasca vale più di uno grande lontano.
07 Scegliere
Il modello più piccolo che risponde alla tua domanda.

Per ogni problema con le immagini c'è una scala. Una classe, un riquadro, una maschera, e in cima una frase scritta. Salendo, il modello diventa più grande, più lento e più difficile da controllare. Il modello multimodale è l'ultimo gradino. Si usa quando la risposta è davvero una frase, e non un nome o un numero.

In pratica. Scrivi la risposta che ti aspetti per dieci foto diverse. Se sono tutte parole di un elenco, ti serve un classificatore, non un modello che scrive.

01 / 07

(Approfondisci)

Qualche numero in più.

(01)

Come entra una foto in un modello linguistico

Il modello per immagini più usato in questi sistemi è un vision transformer. Taglia la foto in quadratini di 14 o 16 pixel di lato. Una foto di 224 per 224 pixel con quadratini di 16 dà 196 quadratini, quindi 196 embedding.

Un piccolo strato fa da ponte e li porta alla misura degli embedding del modello linguistico. Molti modelli piccoli poi uniscono i quadratini vicini a gruppi, per spendere meno token per ogni foto. SmolVLM, per esempio, usa pochi token per ogni pezzo di immagine, ed è uno dei motivi per cui riesce a stare in così pochi parametri.

196quadratini in una foto di 224 pixel
256 Mparametri di SmolVLM nella versione più piccola

(02)

CLIP e la ricerca delle foto

CLIP è stato addestrato su 400 milioni di coppie di foto e didascalie trovate sul web. Ha due metà, una per le foto e una per il testo. Impara a rendere simili gli embedding di ogni foto e della sua didascalia, e diversi quelli delle coppie sbagliate.

Il risultato è un modo di classificare senza addestrare niente. Scrivi una foto di un gatto e una foto di un cane, calcoli gli embedding delle due frasi e guardi a quale somiglia di più la foto nuova. Funziona con qualunque classe tu sappia scrivere, anche se non è la più precisa.

(03)

Provarli sul telefono

Google AI Edge Gallery, su Android, fa girare Gemma 3n in locale e accetta foto oltre al testo. Nel browser, con WebGPU, esistono dimostrazioni di SmolVLM che descrivono le foto della fotocamera senza mandare niente in rete.

Provali con le stesse cinque foto e le stesse domande, e annota le risposte sbagliate. Vedrai gli errori di questa lezione, soprattutto nel contare e nelle scritte piccole, e ti farai un'idea di quanto fidarti.

(Prova sul telefono)

Le foto che il telefono capisce da solo

Metti il telefono in modalità aereo e prova queste funzioni. Quelle che rispondono lo stesso usano modelli per le immagini e il testo che stanno dentro il telefono.

(01) Cerca nelle foto una parola come tramonto, cane o torta
(02) Seleziona e copia il testo dentro la foto di un documento
(03) Tieni premuto su una persona o un oggetto in una foto per staccarlo dallo sfondo
(04) Inquadra un cartello in un'altra lingua con la fotocamera e traducilo
(05) Chiedi al telefono di descrivere una foto, se ha questa funzione

La ricerca per parole nelle foto usa uno spazio comune per foto e frasi, come CLIP. Staccare il soggetto è una segmentazione. Descrivere una foto è il lavoro di un modello multimodale.

(Verifica)

4 domande per chiudere la lezione.

Quando rispondi a tutte, la lezione risulta fatta e sulla mappa la sua pietra diventa gialla. Conta rispondere, non il punteggio.

(01)

Come fa un modello linguistico a guardare una foto?
(02)

Chiedi a un modello piccolo quante persone ci sono in una foto di gruppo. Cosa aspettarti?
(03)

Vuoi solo cercare tra le tue foto scrivendo una parola. Cosa ti serve?
(04)

Quando conviene un modello multimodale invece di un classificatore?

Parole nuove, e dove sono spiegate

Multimodalecapitolo 1

Fonti e letture

Per chiudere la lezione rispondi alla verifica

← Un modello linguistico in tasca Il ripasso del corso Torna alla mappa

(Prossima lezione · 06.01) Misurare davvero