(Lezione 01.01 · 12 minuti · Nessun sensore · Per tutti)

Dove pensa l'intelligenza artificiale.

Quando chiedi qualcosa a un'app, la risposta può arrivare da un computer a centinaia di chilometri o dal chip che hai in tasca. Qui segui una foto nei due viaggi e capisci quando conviene il secondo.

Cosa impari

Che differenza c'è tra cloud ed edge
Perché la latenza decide cosa si può fare
Le cinque ragioni che riassume la sigla BLERP
Quando restare nel cloud è la scelta giusta

(Non serve sapere niente prima, si parte da qui)

Come vuoi seguirla

Preparo la scena…

01 La domanda
Una foto e una risposta.

Inquadri una pianta e chiedi al telefono di che specie è. Per rispondere serve un modello, cioè un programma che ha imparato a riconoscere le piante guardando migliaia di foto. La domanda di questa lezione è semplice. Dove gira quel modello?

In pratica. Ogni volta che un'app ti dà una risposta intelligente, da qualche parte un modello sta facendo dei calcoli. Può stare in un centro dati o dentro il telefono.
02 Il cloud
La foto parte e fa molta strada.

Nella strada più comune la foto lascia il telefono, arriva all'antenna, attraversa la rete e finisce in un centro dati. Lì un computer potente fa i calcoli e rimanda indietro la risposta. Funziona bene finché la rete c'è.

In pratica. Nel centro dati possono girare modelli enormi, con centinaia di miliardi di parametri, che in un telefono non entrerebbero mai. È per questo che il cloud esiste.
03 La latenza
Andata e ritorno costano tempo.

Con un buon segnale il solo tragitto in rete porta via da 30 a 150 millisecondi, poi c'è l'attesa sul server. Questo tempo tra domanda e risposta si chiama latenza. Per una foto ogni tanto non è un problema. Per seguire una mano che si muove trenta volte al secondo lo è.

In pratica. Un video a 30 fotogrammi al secondo lascia 33 millisecondi per ogni fotogramma. Se la risposta ne impiega 150, arriva quando la mano è già altrove.
04 La privacy
Una volta partita, la foto non è più solo tua.

La foto viene ricevuta, letta e spesso conservata su computer che non controlli. Per una pianta poco male. Per una radiografia, la voce di un bambino o il volto di un cliente cambia tutto, e in Europa entra in gioco il GDPR.

In pratica. Se il calcolo resta sul telefono non parte niente, quindi non c'è niente da proteggere lungo la strada.
05 L'edge
Il modello si sposta in tasca.

Edge vuol dire bordo, cioè il bordo della rete, dove nascono i dati. Fare Edge AI vuol dire far girare il modello lì, sul telefono, su un orologio o su una telecamera. La foto passa dalla fotocamera al chip e la risposta arriva in qualche decina di millisecondi, anche in modalità aereo.

In pratica. Lo usi già. Lo sblocco con il volto, la tastiera che suggerisce la parola dopo, i sottotitoli automatici e la ricerca per parole nella galleria girano sul telefono.
06 Il conto
Cinque ragioni e un prezzo da pagare.

Jeff Bier, fondatore della Edge AI and Vision Alliance, riassume i vantaggi con una sigla, BLERP. Sta per banda, latenza, economia, affidabilità e privacy. Il prezzo è che il telefono ha poca memoria e una batteria da non svuotare, quindi il modello deve essere piccolo.

In pratica. Un modello pensato per il telefono pesa di solito tra 1 e 50 megabyte. Un grande modello linguistico nel centro dati arriva a centinaia di gigabyte.
07 Insieme
Spesso la risposta è metà e metà.

Molte app fanno tutte e due le cose. Il telefono decide da solo le cose veloci e frequenti e chiama il cloud solo quando serve un modello più grande. Nel resto del corso impari a costruire la parte che sta in tasca.

In pratica. Prima di scegliere fatti tre domande. La risposta può aspettare un decimo di secondo? I dati possono lasciare il telefono? La rete ci sarà sempre? Se anche una risposta è no, il modello va sul dispositivo.

01 / 07

(Approfondisci)

Qualche numero in più.

(01)

Quanto costa davvero spedire una foto

Una foto da 12 megapixel compressa in JPEG pesa circa 3 MB. Se mille persone ne mandano dieci al giorno a un server, sono 30 GB al giorno da ricevere, elaborare e pagare. Con il modello sul telefono quel traffico sparisce, e sparisce anche la bolletta del server.

Poi c'è la batteria. La radio del telefono consuma molto quando trasmette, e resta accesa ancora qualche secondo dopo l'ultimo pacchetto. Per un modello piccolo spesso costa meno energia fare il calcolo sul posto che spedire i dati.

33 msper fotogramma a 30 fps
30-150 msandata e ritorno in rete mobile
3 MBuna foto da 12 megapixel

(02)

Edge non vuol dire solo telefono

Tra il centro dati e il tuo telefono c'è una scala intera. Ci sono i server vicini alle antenne, i piccoli computer nelle fabbriche e nelle auto, i telefoni e gli orologi. In fondo ci sono i microcontrollori, chip da pochi euro con 256 KB di memoria che fanno girare modelli da qualche decina di kilobyte con una pila a bottone. Quel pezzo di scala si chiama TinyML.

In questo corso lavoriamo sul telefono perché ce l'hai già in tasca e ha tutto quello che serve. Fotocamera, microfono, sensori di movimento e un chip pensato apposta per le reti neurali.

(03)

Cosa gira già nel tuo telefono

Dal 2017 i Pixel riconoscono le canzoni che suonano intorno senza connessione, con un database di decine di migliaia di brani salvato nel telefono. Face ID confronta il tuo volto con dati che non lasciano mai l'iPhone. Dal 2023 alcuni telefoni Android hanno Gemini Nano, un modello linguistico che riassume e suggerisce risposte senza rete. Dal 2024 anche Apple fa girare sul dispositivo un modello da circa 3 miliardi di parametri.

Nessuno di questi è un esperimento. Sono funzioni usate ogni giorno da centinaia di milioni di persone, e sono il motivo per cui i produttori mettono nei telefoni chip dedicati all'intelligenza artificiale.

(Prova sul telefono)

La prova della modalità aereo

Metti il telefono in modalità aereo e prova queste funzioni. Segna quali rispondono lo stesso. Quelle che funzionano girano sul telefono, le altre hanno bisogno del cloud.

(01) Cerca "mare" o "cane" nell'app delle foto
(02) Detta un messaggio con il microfono della tastiera
(03) Seleziona il testo dentro una foto
(04) Traduci una frase con l'app di traduzione
(05) Fai una domanda all'assistente vocale
(06) Blocca e sblocca il telefono con il volto o l'impronta

Il risultato cambia da telefono a telefono e anche con le impostazioni. Per esempio la traduzione funziona offline solo se hai scaricato la lingua. Alla fine hai la lista di quello che gira nel tuo telefono.

(Verifica)

4 domande per chiudere la lezione.

Quando rispondi a tutte, la lezione risulta fatta e sulla mappa la sua pietra diventa gialla. Conta rispondere, non il punteggio.

(01)

Cosa vuol dire edge in Edge AI?
(02)

Un'app deve seguire una mano 30 volte al secondo e andata e ritorno dal server richiedono 150 ms. Cosa succede?
(03)

Qual è il prezzo dell'edge?
(04)

Quando ha senso restare nel cloud?

Parole nuove, e dove sono spiegate

Modellocapitolo 1
Edge AIcapitolo 5
Cloudcapitolo 2
Latenzacapitolo 3
BLERPcapitolo 6
TinyMLApprofondisci

Fonti e letture

Per chiudere la lezione rispondi alla verifica

Torna alla mappa

(Prossima lezione · 01.02) Cosa c'è dentro il tuo telefono