Ripasso di Capire il linguaggio.
Capire il linguaggio in dieci concetti e sei domande nuove, dai token ai modelli che guardano una foto. Se una risposta non torna, sotto la spiegazione trovi il capitolo da rileggere.
I concetti chiave.
- Token
Il pezzo in cui un modello linguistico divide il testo. Può essere una parola intera, una sillaba o un segno. In italiano una parola vale in media più di un token.
- Embedding
Una lista di numeri che riassume il contenuto di una foto, di un suono o di una frase. Due cose simili hanno embedding vicini.
- Similarità del coseno
Quanto sono vicine due liste di numeri, misurato dall'angolo tra loro. Va da meno uno a uno. Serve a confrontare embedding di parole, frasi e foto.
- Transfer learning
Partire da un modello già addestrato su tantissimi dati e insegnargli solo l'ultima parte per il tuo problema. Servono molti meno esempi e molto meno tempo.
- Ricerca semantica
Cercare per significato invece che per parole uguali. Testi e domanda diventano embedding, e si mostrano i testi più vicini alla domanda.
- Modello linguistico piccolo
Small language model. Un modello che scrive testo con da qualche centinaio di milioni a qualche miliardo di parametri, abbastanza piccolo da stare in un telefono.
- Quantizzazione
Scrivere i pesi con numeri più semplici, per esempio interi a 8 bit al posto di decimali a 32. Il modello diventa circa quattro volte più piccolo e più veloce, e di solito perde poco.
- Contesto
Il testo che un modello linguistico tiene presente mentre risponde, cioè la conversazione fin lì e i documenti che gli dai. Più è lungo, più memoria e tempo servono.
- Allucinazione
Quando un modello scrive con sicurezza una cosa falsa, per esempio una data, una citazione o un oggetto che nella foto non c'è.
- Multimodale
Un modello che lavora con più tipi di dati insieme, per esempio una foto e una domanda scritta, e risponde con una frase.
6 domande che nelle lezioni non c'erano.
Mettono insieme le lezioni del corso. Dopo ogni risposta c'è la spiegazione e il punto da rileggere. Il ripasso non cambia la mappa.
-
Fai la stessa domanda a un modello piccolo, prima in inglese e poi in italiano. In italiano costa un po' più di memoria e di tempo. Perché?
I vocabolari di token sono nati soprattutto sull'inglese. La stessa frase in italiano si spezza in più pezzi, e ogni token in più chiede memoria e tempo. Lo spiega la 05.01, capitolo 2 →
-
Un'app usa gli embedding delle parole per suggerire mestieri a chi cerca lavoro. Cosa controlli prima di pubblicarla?
Gli embedding imparano dai testi anche i pregiudizi di chi li ha scritti. Programmatore meno uomo più donna finiva vicino a casalinga. Vanno cercati e corretti. Lo spiega la 05.01, Approfondisci →
-
Nel tuo classificatore di comandi qualcuno scrive dove ho messo le chiavi, e l'app accende la luce. Cosa manca?
Senza una classe altro ogni frase finisce per forza in una delle tue classi. Con frasi estranee e una soglia, una frase lontana da tutti gli esempi diventa altro. Lo spiega la 05.02, capitolo 6 →
-
Cerchi nelle note il numero di una fattura, 4471. La ricerca per significato ti mostra note sulle spese, ma non quella. Cosa conviene fare?
La ricerca per significato coglie il senso e sbaglia con nomi, codici e numeri esatti. Con una ricerca per parole accanto trovi anche quelli. Lo spiega la 05.02, capitolo 5 →
-
Il tuo modello linguistico pesa 3 GB. Il telefono sposta 60 GB al secondo dalla memoria. Quanti token al secondo puoi sperare, al massimo?
Per ogni token il modello rilegge tutti i suoi pesi. 60 diviso 3 fa 20 token al secondo, e nella pratica se ne ottiene una parte. Lo spiega la 05.03, capitolo 4 →
-
Mandi una foto e una domanda di una riga a un modello multimodale piccolo. La prima parola arriva più tardi che con la sola domanda. Perché?
I quadratini della foto diventano embedding che entrano come token. Una foto vale centinaia di token, come qualche paragrafo, e allunga l'attesa prima della prima parola. Lo spiega la 05.04, capitolo 2 →