(Lezione 06.06 · 18 minuti · Nessun sensore · Per tutti)

L'AI responsabile.

Un modello che funziona non basta. Deve funzionare per tutte le persone che lo useranno, con il loro permesso, e dire chiaro dove sbaglia. Qui vedi chi risponde degli errori, come trovare chi resta indietro e cosa chiedono le regole europee.

Cosa impari

Chi risponde quando un modello sbaglia
Come i dati lasciano indietro alcune persone, e come accorgersene
Quando chiedere il consenso e quando non usare un modello
Cosa chiedono l'AI Act e il GDPR a chi fa una piccola app

Ti serve sapere

Se non ti ricordi una di queste cose, il link ti porta al capitolo che la spiega.

Come vuoi seguirla

Preparo la scena…

01 Chi risponde
Quando il modello sbaglia, risponde una persona.

Un'app guarda la foto di un fungo e dice che si può mangiare. È velenoso. Il modello^01.01 non ha colpe, è un file di numeri che non sa cosa fa. Rispondono le persone, chi ha fatto l'app e chi l'ha usata per decidere. In Europa le nuove regole sui danni trattano il software come un prodotto, al pari di un frullatore.

In pratica. Prima di pubblicare, chiediti cosa succede a chi usa l'app quando il modello sbaglia. Se la risposta fa paura, il modello non deve decidere da solo.
02 I dati storti
Il modello impara anche gli squilibri dei dati.

Addestri il modello dei gesti con le tue mani. Poi lo prova un'amica con la pelle più scura e sbaglia più spesso. Conosce bene solo chi ha visto. Quando sbaglia di più con un gruppo di persone si chiama bias. Nel 2018 tre sistemi che indovinano il genere da un volto sbagliavano fino a 35 volte su 100 con donne dalla pelle scura. Con uomini dalla pelle chiara, quasi mai.

In pratica. Prima di raccogliere i dati, scrivi chi userà l'app. Poi controlla che nel dataset^01.05 ci siano mani, voci e volti di tutte quelle persone, oltre ai tuoi.
03 Gruppo per gruppo
La media nasconde chi resta indietro.

Un modello che capisce i comandi a voce indovina 95 volte su 100. Con le voci che hanno un altro accento scende a 80. La media era vera, ma raccontava soprattutto le voci più numerose. Misurare il modello gruppo per gruppo si chiama valutazione per gruppi. Nel 2020 cinque sistemi che trascrivono la voce sbagliavano in media 35 parole su 100 con persone afroamericane, 19 con persone bianche.

In pratica. Nel passo Valuta del laboratorio, fai provare il modello a un'altra persona. Se l'accuratezza^06.01 scende molto, nel dataset mancano esempi come i suoi.
04 Il consenso
Chi finisce nei tuoi dati deve dire sì.

Per il modello delle voci registri la tua famiglia, per quello dei volti fotografi gli amici. Un volto o una voce dicono chi è una persona. Prima di usarli chiedi, spiega a cosa servono e dove finiscono. Questo sì, libero e informato, si chiama consenso. Si può ritirare in ogni momento, e allora i suoi esempi escono dal dataset.

In pratica. Tieni un elenco di chi ha detto sì e di quali esempi sono suoi. Se qualcuno cambia idea, li trovi e li cancelli in un minuto.
05 Quando non usarlo
A volte la scelta giusta è non usare il modello.

Ogni modello sbaglia un poco. Se l'errore costa poco, come una canzone riconosciuta male, va bene. Se costa caro, come un fungo velenoso, il modello può solo consigliare, e decide una persona. Questo si chiama supervisione umana. E se nei dati mancano le persone che useranno l'app, o basta una regola semplice, il modello non serve proprio.

In pratica. Per ogni risposta del modello chiediti chi si accorge se è sbagliata, e quando. Se nessuno se ne accorge in tempo, aggiungi un controllo umano o rinuncia.
06 I limiti
Chi usa l'app deve sapere dove sbaglia.

Nell'app scrivi che risponde un modello, cosa sa fare e dove sbaglia, con numeri veri. Riconosce 9 foglie su 10 alla luce del giorno, molte meno al buio. Non conosce le malattie che non ha mai visto. Dire queste cose in chiaro si chiama trasparenza. Chi conosce i limiti si fida il giusto e non usa l'app dove non funziona.

In pratica. Metti i limiti vicino alla risposta, non in una pagina che nessuno apre. Basta una riga sotto il risultato, per esempio al buio sbaglia spesso.
07 Le regole europee
In Europa l'AI Act divide gli usi per rischio.

Il regolamento europeo sull'intelligenza artificiale si chiama AI Act. Alcuni usi sono vietati, come dare alle persone un punteggio per come si comportano e poi trattarle peggio. Altri sono ad alto rischio, come scegliere chi assumere, e hanno regole severe. Un chatbot deve dire che è un'AI. Un'app che riconosce tazze o gesti ha rischio minimo, e l'AI Act non le chiede niente di particolare.

In pratica. La tua app riconosce le persone o le loro emozioni, o aiuta a decidere su lavoro, scuola o salute? Leggi le regole prima di cominciare, lì gli obblighi sono veri.

01 / 07

(Approfondisci)

Qualche numero in più.

(01)

Tre misure del bias

Nel 2018 Joy Buolamwini e Timnit Gebru hanno provato tre sistemi che indovinano il genere da un volto. Hanno usato 1270 foto equilibrate per genere e pelle. L'errore arrivava al 34,7 per cento con le donne dalla pelle scura, e allo 0,8 con gli uomini dalla pelle chiara.

Nel 2020 Allison Koenecke e altri hanno fatto trascrivere 19,8 ore di interviste a cinque sistemi molto usati. Le parole sbagliate erano in media il 35 per cento con le persone afroamericane e il 19 con quelle bianche. Anche sulle stesse frasi, gli errori con le prime erano circa il doppio.

La scheda del modello delle mani di MediaPipe misura l'errore su 420 foto, 35 per ogni coppia di genere e tono della pelle. I punti della mano sbagliano in media dal 4,9 al 7,3 per cento della grandezza del palmo. Il valore più alto è sul tono più scuro, ma senza un andamento legato alla pelle.

34,7 %errore massimo, donne con la pelle scura
0,8 %errore massimo, uomini con la pelle chiara
35 e 19parole sbagliate su 100, nelle due trascrizioni

(02)

L'AI Act e il GDPR per una piccola app

L'AI Act è in vigore dal 1° agosto 2024 e arriva a tappe. I divieti valgono dal 2 febbraio 2025. Gli obblighi di trasparenza, come avvisare che risponde un chatbot, dal 2 agosto 2026. Per gli usi ad alto rischio l'Omnibus digitale sull'IA, un regolamento del luglio 2026, ha spostato le date. Per usi come scegliere chi assumere al 2 dicembre 2027, per l'AI dentro prodotti come i dispositivi medici al 2 agosto 2028.

Il GDPR protegge i dati personali, cioè ogni informazione su una persona che si può riconoscere. Un volto, una voce o una posizione lo sono. Se li usi per riconoscere chi è una persona diventano dati biometrici, e di solito serve un consenso esplicito. Le foto tenute in famiglia restano fuori dal GDPR, un'app pubblicata o un dataset condiviso no. Se i dati non escono dal telefono e tu non li ricevi mai, hai molto meno da proteggere.

(03)

Chi paga i danni

Nel 2024 l'Unione europea ha rinnovato le regole sui prodotti difettosi, con la direttiva 2024/2853. Vale per i prodotti messi sul mercato dopo il 9 dicembre 2026, e tra i prodotti conta anche il software, sistemi di AI compresi. Chi lo produce risponde dei danni a persone, cose e dati privati se il prodotto era difettoso, anche senza averne colpa.

Resta fuori il software fatto e distribuito senza un'attività commerciale, come molto software libero e open source. Una legge fatta apposta per l'AI, la direttiva sulla responsabilità per l'intelligenza artificiale, è stata ritirata nel 2025. Per ora gli errori di un modello si giudicano con queste regole e con le norme nazionali sulla responsabilità civile.

(Prova sul telefono)

Il tuo dataset, guardato da fuori

Apri il laboratorio e scorri uno dei tuoi progetti, esempio per esempio. Poi segna queste cose. Servono dieci minuti. Se non hai ancora un progetto, pensa al dataset che vorresti raccogliere.

Apri il laboratorio

(01) Negli esempi ci sono almeno due persone, oltre a te
(02) Ci sono mani, voci o volti diversi dai tuoi, per età, pelle o accento
(03) Ci sono luci, stanze e momenti diversi
(04) Hai provato il modello con una persona che non è nel dataset
(05) Chi compare nelle foto o nelle registrazioni sa di esserci e ha detto sì
(06) Sai dire in una frase dove il modello sbaglia

Ogni Non ancora è una cosa da fare prima di far usare il modello ad altri. La più utile di solito è far provare il modello a una persona nuova e guardare il risultato nel passo Valuta.

(Verifica)

4 domande per chiudere la lezione.

Quando rispondi a tutte, la lezione risulta fatta e sulla mappa la sua pietra diventa gialla. Conta rispondere, non il punteggio.

(01)

Un'app che riconosce i funghi dà per buono un fungo velenoso. Chi ne risponde?
(02)

Il tuo modello dei gesti indovina il 95 per cento, ma l'hai provato solo con le tue mani. Cosa fai prima di farlo usare ad altri?
(03)

Tua sorella ti aveva dato la sua voce per il dataset. Un mese dopo ti chiede di toglierla. Cosa fai?
(04)

Per l'AI Act, che rischio ha un'app che riconosce tazze e chiavi di casa?

Parole nuove, e dove sono spiegate

Biascapitolo 2
Valutazione per gruppicapitolo 3
Consensocapitolo 4
Supervisione umanacapitolo 5
Trasparenzacapitolo 6
AI Actcapitolo 7
Dati personaliApprofondisci

Fonti e letture

Per chiudere la lezione rispondi alla verifica

← Un'app che funziona senza rete Il ripasso del corso Torna alla mappa

(Prossima lezione · 07.01) Un caso vero, la foglia d'ulivo