(Lezione 05.02 · 22 minuti · Tastiera · Primo modello)

Classificare e cercare testi sul telefono.

Accendi la luce, che tempo fa domani, metti un po' di musica. Qui insegni al telefono a capire cosa chiede una frase, con un modello già pronto e pochi esempi tuoi, e usi lo stesso trucco per cercare nelle note per significato.

Cosa impari

Come si costruisce un classificatore di frasi con pochi esempi
Quando basta cercare la frase di esempio più vicina
Come funziona la ricerca per significato, e dove sbaglia

Ti serve sapere

Se non ti ricordi una di queste cose, il link ti porta al capitolo che la spiega.

Come vuoi seguirla

Preparo la scena…

01 La domanda
Capire cosa chiede una frase, tra poche risposte.

Vuoi un'app che capisca i comandi scritti. Accendi la luce, che tempo fa domani, metti un po' di musica. Le frasi possibili sono infinite, ma le intenzioni sono poche, luce, meteo, musica e altro. Riconoscere l'intenzione è una classificazione^01.04 del testo. Ogni frase va in una delle tue classi.

In pratica. Scegli intenzioni ben separate. Se due classi le confondi anche tu leggendo le frasi, il modello le confonderà di più.
02 Il corpo
Un modello già pronto trasforma ogni frase in numeri.

Non serve insegnare l'italiano da zero. Un modello già addestrato su milioni di frasi trasforma ogni frase in un embedding^05.01 di 384 numeri. Frasi con lo stesso senso finiscono vicine anche se usano parole diverse. È il corpo del tuo modello, e non si addestra di nuovo, come nel transfer learning^01.05.

In pratica. Se le frasi saranno in italiano, scegli un modello multilingue. Uno addestrato solo sull'inglese dà embedding molto peggiori nelle altre lingue.
03 La testa
Sopra si addestra una testa piccola.

Sopra il corpo metti una testa con un'uscita per ogni intenzione. Riceve i 384 numeri e sceglie la classe. Con quattro classi ha circa 1500 pesi, e si addestra in un attimo. Con dieci o venti frasi per intenzione, scritte in modi diversi, il modello riconosce già frasi che non ha mai visto.

In pratica. Fai scrivere le frasi di esempio a più persone. Ognuno chiede le cose a modo suo, e il modello deve conoscere tutti quei modi.
04 Senza addestrare
A volte basta cercare la frase più vicina.

C'è un modo ancora più semplice. Salvi gli embedding delle frasi di esempio con la loro intenzione. Per una frase nuova cerchi l'esempio più simile e prendi la sua intenzione. Sono i vicini più prossimi^01.04 applicati agli embedding. Aggiungere un'intenzione vuol dire solo scrivere qualche esempio in più.

In pratica. Con questo metodo puoi anche mostrare perché il modello ha risposto così. Basta far vedere la frase di esempio più simile.
05 La ricerca
Cercare per significato, non per parole uguali.

Lo stesso trucco serve per cercare. Trasformi in embedding tutte le tue note, una volta sola. Quando cerchi, trasformi anche la domanda e prendi le note più vicine. Scrivi riunione di lavoro e trovi appuntamento con il capo alle tre, che non ha nessuna parola in comune. È la ricerca semantica.

In pratica. La ricerca per significato sbaglia con nomi, codici e numeri esatti. Tienila insieme a una ricerca normale per parole, e mostra i risultati di tutte e due.
06 Altro
Una classe altro contro le frasi che non c'entrano.

Qualcuno scriverà frasi che non c'entrano niente, come ho fame o raccontami una barzelletta. Senza una classe altro il modello le manderà comunque a luce, meteo o musica. Allora aggiungi esempi di frasi estranee, e una soglia di similarità^05.01. Se anche l'esempio più vicino è lontano, la risposta è altro.

In pratica. Metti nella classe altro anche frasi che somigliano ai comandi ma non lo sono, come la luce del tramonto era bellissima.
07 Nel telefono
Tutto gira in tasca, anche senza rete.

Un modello multilingue per le frasi pesa circa 120 MB nella versione leggera, e sul telefono trasforma una frase in qualche decina di millisecondi. La testa pesa pochi KB. Le frasi non escono dal telefono, e il comando funziona anche in modalità aereo. Per un'app che legge i tuoi messaggi è la differenza che conta di più.

In pratica. Se 120 MB sono troppi, cerca un modello per una lingua sola o con un vocabolario più piccolo. Gran parte del peso sta proprio nel vocabolario.

01 / 07

(Approfondisci)

Qualche numero in più.

(01)

Perché il vocabolario pesa così tanto

Un modello multilingue come paraphrase-multilingual-MiniLM ha un vocabolario di circa 250.000 token, per coprire decine di lingue. Ogni token ha un embedding di 384 numeri. Fanno 96 milioni di pesi solo per il vocabolario, su circa 118 milioni in tutto.

La parte che capisce le frasi, dodici strati piccoli, pesa quindi meno di un quinto del totale. Per questo un modello per una lingua sola, con un vocabolario di 30.000 token, può pesare tre o quattro volte meno e restare bravo quasi uguale in quella lingua.

250.000token nel vocabolario, circa
96 Mpesi solo per il vocabolario
118 Mpesi in tutto

(02)

Il classificatore in codice

Chi programma trova tutto questo in poche righe. Gli esempi si trasformano una volta sola e si salvano. Per ogni frase nuova si calcola l'embedding, si confronta con tutti gli esempi e si prende l'intenzione del più simile, se è abbastanza simile.

Con qualche centinaio di esempi il confronto richiede meno di un millisecondo. Con decine di migliaia di note si usano strutture apposta, dette indici vettoriali, che trovano i vicini senza confrontarli tutti.

const e = await corpo(frase);                       // 384 numeri
let meglio = { sim: -1, classe: "altro" };
for (const es of esempi) {
  const sim = coseno(e, es.embedding);
  if (sim > meglio.sim) meglio = { sim, classe: es.classe };
}
const risposta = meglio.sim > 0.6 ? meglio.classe : "altro";

(03)

Gli errori tipici

Gli embedding di frase colgono soprattutto l'argomento. Accendi la luce e non accendere la luce parlano della stessa cosa, e finiscono vicinissime. Un classificatore costruito solo sugli embedding rischia di accendere la luce a chi ha chiesto il contrario.

Se nel tuo problema le negazioni contano, mettile negli esempi come classi a parte, oppure aggiungi un controllo semplice sulle parole non e mai. Lo stesso vale per l'ironia, che anche i modelli grandi capiscono male.

(Prova sul telefono)

I tuoi comandi

Nel laboratorio costruisci un classificatore di comandi scritti con quattro intenzioni scelte da te. Servono dieci minuti e, se puoi, una seconda persona che scriva frasi di prova.

Apri il laboratorio con il pulsante qui sotto. Parte già con l'ingresso Testo, e la prima volta scarica il modello delle frasi.
Crea quattro classi, per esempio luce, meteo, musica e altro.
Scrivi 10 frasi per classe, tutte diverse. Nella classe altro metti frasi che non c'entrano.
Premi Addestra. Poi in Usa scrivi frasi nuove e guarda la classe e la frase di esempio più vicina.
Prova una negazione, come non accendere la luce, e guarda cosa succede.

Apri il laboratorio →

(Verifica)

4 domande per chiudere la lezione.

Quando rispondi a tutte, la lezione risulta fatta e sulla mappa la sua pietra diventa gialla. Conta rispondere, non il punteggio.

(01)

Perché bastano dieci o venti frasi per intenzione?
(02)

Scrivi riunione di lavoro e trovi appuntamento con il capo alle tre. Perché?
(03)

Scrivi non accendere la luce e il modello risponde luce. Perché succede?
(04)

Dove sta la maggior parte del peso di un modello multilingue per le frasi?

Parole nuove, e dove sono spiegate

Ricerca semanticacapitolo 5

Fonti e letture

Per chiudere la lezione rispondi alla verifica

← Le parole diventano numeri Torna alla mappa

(Prossima lezione · 05.03) Un modello linguistico in tasca