Le parole diventano numeri.

Come nasce un vocabolario di token

Il metodo più usato si chiama byte pair encoding. Si parte dalle singole lettere e si guarda, in un'enorme raccolta di testi, quale coppia di pezzi capita più spesso vicina. Quella coppia diventa un pezzo nuovo. Si ripete finché il vocabolario arriva alla misura voluta.

GPT-2, nel 2019, aveva 50.257 token. Llama 3 ne ha 128.256, Gemma 3 circa 262.000, per coprire meglio tante lingue. Un vocabolario più grande spezza meno le parole, ma rende più pesante il modello, perché ogni token ha il suo embedding.

• 50.257token di GPT-2
• 128.256token di Llama 3
• 262.000token di Gemma 3, circa

Il re meno uomo più donna

Nel 2013 Tomas Mikolov e colleghi di Google pubblicarono word2vec, un modo veloce per imparare gli embedding delle parole. Si scoprì che le direzioni avevano un senso. L'embedding di re, meno quello di uomo, più quello di donna, finiva vicino a regina.

Nel 2016 un altro gruppo mostrò il rovescio. Con la stessa aritmetica, programmatore meno uomo più donna finiva vicino a casalinga. Gli embedding imparano dai testi anche i pregiudizi di chi li ha scritti. Un modello che li usa li porta con sé, a meno che qualcuno li cerchi e li corregga.

La similarità del coseno, in codice

Per due liste di numeri della stessa lunghezza si moltiplicano gli elementi a coppie e si sommano. Poi si divide per la lunghezza delle due liste. Il risultato è il coseno dell'angolo tra loro. Uno vuol dire stessa direzione, zero nessun legame, meno uno direzioni opposte.

Con gli embedding di frase i valori veri stanno quasi sempre tra 0,2 e 0,9. Per questo la soglia che separa simile da diverso non si sceglie a priori. Si prova su qualche coppia di frasi di cui conosci già la risposta.

function coseno(a, b) {
  let ab = 0, aa = 0, bb = 0;
  for (let i = 0; i < a.length; i++) { ab += a[i] * b[i]; aa += a[i] * a[i]; bb += b[i] * b[i]; }
  return ab / Math.sqrt(aa * bb);
}