(Lezione 03.03 · 14 minuti · Nessun sensore · Per tutti)

La parola che accende il telefono.

Il telefono ti sente anche a schermo spento, eppure la batteria dura tutto il giorno. Qui scopri come fa, dal chip che ascolta da solo ai due modelli in fila, e perché la parola giusta è lunga e rara.

Cosa impari

Come un telefono ascolta sempre spendendo pochissimo
Perché si usano due modelli in fila invece di uno
Come il telefono riconosce la tua voce e non quella degli altri
Cosa rende buona una parola chiave

Ti serve sapere

Se non ti ricordi una di queste cose, il link ti porta al capitolo che la spiega.

Come vuoi seguirla

Preparo la scena…

01 Sempre in ascolto
Il telefono ascolta sempre, ma solo una parola.

Quando dici Ehi Siri o Ok Google il telefono risponde anche a schermo spento. Quindi il microfono è sempre acceso. Ma il telefono non capisce tutto quello che dici. Un modello minuscolo cerca una sola parola, e finché non la sente non fa nient'altro. Questo compito si chiama parola chiave, in inglese keyword spotting.

In pratica. Il modello della parola chiave è diverso da quello che capisce le domande. Il primo gira sempre sul telefono, il secondo parte solo dopo, e a volte sta nel cloud.
02 Il chip che ascolta
Un processore a parte, che consuma pochissimo.

Tenere acceso il processore principale solo per ascoltare scaricherebbe la batteria. Allora l'ascolto lo fa un processore a parte, piccolo e lento, che consuma una frazione minima. Sull'iPhone 6s del 2015 era il coprocessore di movimento, lo stesso che conta i passi. Il resto del chip^01.02 dorme finché la parola non arriva.

In pratica. Se progetti qualcosa che ascolta sempre, pensa per prima cosa a quanto consuma. Un modello che gira ogni frazione di secondo deve costare quasi niente, anche se sbaglia un po' di più.
03 Due stadi
Un primo modello veloce, un secondo più attento.

Il modello minuscolo sbaglia spesso, ma va bene così. Quando crede di aver sentito la parola sveglia un secondo modello, più grande e più preciso, che riascolta lo stesso pezzo di suono. Solo se anche il secondo è d'accordo il telefono si accende. Il primo fa da filtro, il secondo decide.

In pratica. Lo stesso schema a due stadi funziona per tanti problemi. Un controllo leggero sempre acceso, uno pesante solo quando serve.
04 La tua voce
Il telefono impara la tua voce con poche frasi.

Quando attivi l'assistente, il telefono ti chiede di ripetere la parola qualche volta. Con quelle registrazioni crea un'impronta della tua voce, una lista di numeri che la riassume. A ogni attivazione confronta la voce nuova con l'impronta. Se sono troppo diverse, il telefono non risponde a chi ha parlato.

In pratica. L'impronta della voce resta nel telefono. È un buon esempio di dato che non ha bisogno di viaggiare, e di un modello che si adatta a una persona sola.
05 Gli errori
Due errori opposti, e si sceglie quale tollerare.

La parola chiave sbaglia in due modi. A volte il telefono si accende da solo, magari per una frase della televisione che somiglia. A volte non risponde anche se l'hai detta. Il primo errore si misura in falsi allarmi^03.02 all'ora, il secondo in parole perse su cento. Spostando la soglia uno scende e l'altro sale.

In pratica. Un falso allarme ogni tanto è fastidioso ma innocuo. Se però dopo il telefono registra e invia quello che sente, diventa un problema di privacy.
06 La parola giusta
Una buona parola chiave è lunga e rara.

Ehi Siri, Ok Google e Alexa non sono scelte a caso. Hanno tre o quattro sillabe, suoni diversi tra loro, e nella vita di tutti i giorni si dicono di rado. Una parola corta e comune, come ciao, farebbe accendere il telefono di continuo. Più la parola è lunga e insolita, più è facile distinguerla.

In pratica. Se scegli una parola chiave per un tuo progetto, prova a dirla dentro frasi normali. Se somiglia a parole che usi spesso, cambiala.
07 Oltre la voce
Lo stesso trucco vale per gli altri sensori.

Un modello minuscolo sempre acceso non serve solo per la voce. Il telefono lo usa per capire che lo alzi dal tavolo, o per contare i passi. I Pixel sentono la canzone che passa alla radio e ti dicono il titolo. La cercano in un elenco salvato nel telefono, senza mandare niente in rete.

In pratica. Quando pensi a un'app che ascolta, chiediti cosa deve sentire sempre e cosa può aspettare. Quello che gira sempre deve stare in pochi KB.

01 / 07

(Approfondisci)

Qualche numero in più.

(01)

Dentro Ehi Siri

Nel 2017 Apple ha raccontato come funziona la parola chiave dell'iPhone. Il suono passa ogni pochi millisecondi in una piccola rete sul processore sempre acceso, con cinque strati da 32 unità. Quando il punteggio supera una soglia si sveglia il processore principale, che fa girare una rete più grande, cinque strati da 192 unità, sullo stesso pezzo di suono.

Le soglie sono due, una per stadio. Apple le ha regolate contando i falsi allarmi su molte ore di parlato normale, in cui la parola non c'è. Un anno dopo ha aggiunto il riconoscimento della voce di chi possiede il telefono.

(02)

Falsi allarmi e parole perse sulla stessa curva

Per ogni soglia si misurano due numeri, i falsi allarmi all'ora su ore di audio qualsiasi e le parole perse su cento prove vere. Mettendo le coppie su un grafico si ottiene una curva. Più sta in basso a sinistra, meglio è.

Chi progetta un assistente sceglie un punto della curva. Un telefono che si accende da solo una volta al giorno è accettabile, uno che lo fa ogni ora no. Per stare così in basso con i falsi allarmi si accetta che ogni tanto la parola vada ripetuta.

(03)

Una parola chiave tutta tua

Esistono strumenti aperti per addestrare una parola chiave scelta da te. openWakeWord la impara da registrazioni sintetiche, generate con una voce artificiale in migliaia di varianti, quindi non serve registrare centinaia di persone. microWakeWord produce modelli così piccoli da girare su una scheda ESP32 da pochi euro.

Il metodo è quello di questo corso. Tanti esempi della parola, tantissimi esempi di tutto il resto, uno spettrogramma mel come ingresso e una rete piccola. La parte più lunga resta misurare i falsi allarmi su ore di audio normale.

(Prova sul telefono)

La prova della parola chiave

Attiva l'assistente vocale del telefono, se non lo usi già. Poi prova queste situazioni una per una e segna cosa succede. Stai misurando da solo i due errori di questa lezione.

(01) Dici la parola chiave a un metro, con lo schermo spento
(02) La dici dall'altra parte della stanza
(03) La dici con la televisione o la musica accesa
(04) La fai dire a un'altra persona
(05) Dici una frase che somiglia, per esempio ehi Sara o ok Gigi
(06) La dici con il telefono in modalità aereo

Se il telefono si è acceso per la frase simile, hai visto un falso allarme. Se è rimasto spento da lontano, una parola persa. Con la voce di un'altra persona di solito resta spento, per via dell'impronta della tua voce.

(Verifica)

4 domande per chiudere la lezione.

Quando rispondi a tutte, la lezione risulta fatta e sulla mappa la sua pietra diventa gialla. Conta rispondere, non il punteggio.

(01)

Perché il telefono non usa il processore principale per aspettare la parola chiave?
(02)

Il primo modello crede di aver sentito la parola. Cosa succede dopo?
(03)

Quale parola chiave funziona meglio?
(04)

La televisione dice una frase e il telefono si accende. Che errore è?

Parole nuove, e dove sono spiegate

Parola chiavecapitolo 1

Fonti e letture

Per chiudere la lezione rispondi alla verifica

← Riconoscere un suono Torna alla mappa

(Prossima lezione · 03.04) Dalla voce al testo, e ritorno