(Lezione 03.01 · 15 minuti · Microfono · Per tutti)

Il suono diventa un'immagine.

Per un modello il suono è una fila di numeri, e poi un'immagine fatta di frequenze. Qui segui una battuta di mani dal microfono allo spettrogramma, e lo guardi scorrere dal vivo mentre parli.

Cosa impari

Cosa sono i campioni e perché per la voce ne bastano 16.000 al secondo
Come si passa dalla forma d'onda alle frequenze
Cos'è uno spettrogramma e perché si usa la scala mel

Ti serve sapere

Se non ti ricordi una di queste cose, il link ti porta al capitolo che la spiega.

Come vuoi seguirla

Preparo la scena…

01 L'aria che vibra
Un suono è aria che spinge e tira.

Quando batti le mani l'aria si comprime e si allarga, centinaia di volte al secondo. Il microfono del telefono ha una membrana sottile che segue quei movimenti. Ogni spinta diventa una tensione elettrica, più alta o più bassa. Per il modello il suono comincia qui, da una membrana che si muove.

In pratica. Il telefono ha due o tre microfoni, uno in basso e uno vicino alla fotocamera. Quando registri esempi tieni il telefono sempre nello stesso modo.
02 I campioni
Un secondo di voce diventa 16.000 numeri.

Il telefono misura la tensione a intervalli regolari e scrive ogni misura come un numero. Ogni misura si chiama campione. Il microfono ne registra 48.000 al secondo, ma per la voce ne bastano 16.000. Quasi tutti i modelli per il parlato usano questa misura. Un secondo di voce diventa una fila di 16.000 numeri.

In pratica. Porta tutte le registrazioni alla stessa frequenza di campionamento prima di addestrare. Con misure diverse il modello sente lo stesso suono in due modi.
03 La forma d'onda
La fila di numeri disegna un'onda.

Metti i campioni in fila su un grafico e ottieni la forma d'onda. Si vede quando il suono è forte e quando c'è silenzio. Non si vede però cosa suona. Un fischio e una parola detti allo stesso volume hanno forme d'onda che a occhio si somigliano. Per distinguerli servono le frequenze.

In pratica. La forma d'onda serve a tagliare le registrazioni. Togli il silenzio all'inizio e alla fine, così ogni esempio contiene davvero il suono.
04 Le frequenze
Ogni suono è fatto di vibrazioni più semplici.

Un suono qualsiasi si può scomporre in tante vibrazioni semplici, lente e veloci, ognuna con la sua forza. Quelle veloci sono i suoni acuti, quelle lente i gravi. Quante volte vibrano in un secondo si misura in hertz. Il calcolo che fa la scomposizione si chiama trasformata di Fourier, e il telefono lo fa in un lampo.

In pratica. La voce umana sta quasi tutta tra 100 e 4000 hertz. Un modello per la voce può ignorare il resto e lavorare meno.
05 Lo spettrogramma
Il suono diventa un'immagine.

Ora si taglia il suono in pezzi di 25 millisecondi, uno ogni 10. Per ogni pezzo si calcolano le frequenze e si mettono in colonna, le gravi in basso e le acute in alto. Le colonne una accanto all'altra formano un'immagine, lo spettrogramma. Il tempo scorre da sinistra a destra e il colore dice quanto è forte ogni frequenza.

In pratica. Una voce si riconosce dalle strisce orizzontali parallele, un fischio da una riga sola, un rumore da una macchia sparsa. Guardalo dal vivo nella prova qui sotto.
06 La scala mel
Più righe dove l'orecchio sente meglio.

L'orecchio distingue bene 100 da 200 hertz, ma quasi non sente la differenza tra 8000 e 8100. La scala mel imita questa sensibilità. Tiene tante righe per le frequenze basse e poche per le alte. Uno spettrogramma mel di un secondo ha spesso 40 righe e 98 colonne, una piccola immagine che un modello legge in fretta.

In pratica. Di solito si prende anche il logaritmo dei valori, come fa l'orecchio con il volume. Un suono dieci volte più forte non ci sembra dieci volte più forte.
07 Le reti
Una rete per immagini ascolta lo spettrogramma.

Da qui in poi il suono è un'immagine. Piccoli filtri scorrono sullo spettrogramma e si accendono dove trovano il loro disegno, per esempio una riga che sale. Una rete fatta di questi filtri si chiama convoluzionale. È la stessa famiglia di modelli che riconosce le foto, e sul suono funziona altrettanto bene.

In pratica. Un secondo di spettrogramma mel è di 40 per 98 numeri, meno di una foto di 64 per 64 pixel. Per questo un modello per il suono può essere molto piccolo.

01 / 07

(Approfondisci)

Qualche numero in più.

(01)

Perché 16.000 campioni al secondo

Per registrare una vibrazione servono almeno due campioni per ogni sua oscillazione, uno in su e uno in giù. È il teorema del campionamento. Con 16.000 campioni al secondo si catturano quindi le frequenze fino a 8000 hertz, abbastanza per capire la voce.

Il vecchio telefono di casa usava 8000 campioni, e infatti si sentiva la voce ma non la differenza tra una f e una s. I CD ne usano 44.100 perché l'orecchio arriva a circa 20.000 hertz. Per un modello più campioni vogliono dire più numeri da leggere, quindi si sceglie il minimo che basta.

8.000campioni al secondo, il telefono fisso
16.000campioni al secondo, la voce per i modelli
44.100campioni al secondo, i CD

(02)

La formula della scala mel

La scala mel è nata negli anni Trenta da esperimenti di ascolto. Si chiedeva alle persone di dire quando un suono sembrava alto il doppio di un altro. Oggi si usa una formula che fa quasi lo stesso. Fino a qualche centinaio di hertz i mel crescono come gli hertz, poi sempre più piano, come un logaritmo.

Qui sotto f è la frequenza in hertz. Mille hertz fanno circa mille mel, ottomila hertz poco più di 2800.

mel = 2595 × log10(1 + f / 700)

(03)

Lo spettrogramma nel browser

Nel browser le frequenze si ottengono con la Web Audio API, che il telefono ha già. Un AnalyserNode prende gli ultimi campioni del microfono, fa la trasformata di Fourier e restituisce la forza di ogni frequenza. La prova di questa lezione disegna una colonna nuova a ogni fotogramma dello schermo.

Con fftSize a 1024 si ottengono 512 frequenze, dalla più bassa fino a metà della frequenza di campionamento. Per passare alla scala mel si raggruppano in fasce sempre più larghe salendo verso gli acuti.

const audio = new AudioContext();
const mic = await navigator.mediaDevices.getUserMedia({ audio: true });
const an = audio.createAnalyser(); an.fftSize = 1024;
audio.createMediaStreamSource(mic).connect(an);
const forza = new Uint8Array(an.frequencyBinCount);   // 512 frequenze
an.getByteFrequencyData(forza);                        // da ripetere a ogni fotogramma

(Prova sul telefono)

Lo spettrogramma dal vivo

Premi il pulsante e parla, fischia, batti le mani. In alto vedi la forma d'onda, sotto lo spettrogramma che scorre da destra a sinistra. Con il selettore passi dalla scala lineare alla scala mel e guardi come cambiano le righe.

Lo strumento ha bisogno di JavaScript acceso.

Il suono non viene registrato né inviato, la pagina lo guarda e lo dimentica. Prova a fischiare una scala che sale, poi a dire la stessa parola con voce grave e con voce acuta.

(Verifica)

4 domande per chiudere la lezione.

Quando rispondi a tutte, la lezione risulta fatta e sulla mappa la sua pietra diventa gialla. Conta rispondere, non il punteggio.

(01)

Un modello per la voce usa 16.000 campioni al secondo. Quanti numeri diventa un secondo di voce?
(02)

Cosa mostra lo spettrogramma che la forma d'onda non mostra?
(03)

Perché la scala mel tiene più righe per le frequenze basse?
(04)

Perché un modello per il suono può essere più piccolo di uno per le foto?

Parole nuove, e dove sono spiegate

Campionamentocapitolo 2
Frequenzacapitolo 4
Spettrogrammacapitolo 5
Scala melcapitolo 6

Fonti e letture

Per chiudere la lezione rispondi alla verifica

← Mani, corpo, volto Torna alla mappa

(Prossima lezione · 03.02) Riconoscere un suono