(Lezione 02.04 · 16 minuti · Fotocamera · Primo modello)

Ritagliare ai pixel.

Una macchia su una foglia non sta in un riquadro. Qui un modello dà una risposta a ogni pixel, stacca le persone dallo sfondo delle videochiamate e stima quanto è lontano ogni punto di una foto.

Cosa impari

Cos'è una maschera e come si usa per misurare
Perché le reti che segmentano hanno la forma di una U
La differenza tra segmentazione semantica e per istanze
Come un modello stima la profondità da una foto sola

Ti serve sapere

Se non ti ricordi una di queste cose, il link ti porta al capitolo che la spiega.

Come vuoi seguirla

Preparo la scena…

01 Ogni pixel
Ogni pixel riceve la sua classe.

Una macchia su una foglia non è un riquadro. Per misurarla bisogna sapere quali pixel sono macchia e quali no. La segmentazione^01.04 fa proprio questo. Dà una classe a ogni pixel della foto, per esempio foglia, macchia o sfondo. Il risultato è una seconda immagine, grande come la prima, fatta di zone colorate.

In pratica. La segmentazione serve quando contano la forma o l'area. Se ti basta sapere dove sta un oggetto, un riquadro costa molto meno.
02 La maschera
Il risultato è una maschera, pixel per pixel.

Per ogni pixel il modello dà una confidenza^02.01 a ogni classe. Tenendo la più alta si ottiene una maschera, come un foglio di carta ritagliato. Spesso il modello lavora in piccolo, per esempio a 256 per 256, e la maschera viene poi ingrandita alla misura della foto. Per questo a volte i bordi sembrano morbidi.

In pratica. Con la maschera i conti diventano semplici. I pixel di macchia divisi per i pixel di foglia danno la parte malata in percentuale, senza righello.
03 La forma a U
Prima si stringe per capire, poi si allarga per disegnare.

La rete ha due metà. La prima, l'encoder, rimpicciolisce la foto strato dopo strato e capisce cosa c'è. La seconda, il decoder, riallarga il risultato fino alla misura di partenza e dice dove sta. Dei ponti tra le due metà riportano i dettagli fini persi per strada. Disegnata, la rete ha la forma di una U.

In pratica. Se la maschera trova l'oggetto ma sbaglia i bordi, il problema è la risoluzione. Se sbaglia proprio l'oggetto, servono foto migliori.
04 Le istanze
Tre mele, oppure la mela uno, due e tre.

La segmentazione semantica colora tutte le mele allo stesso modo, perché sono della stessa classe. Non sa dire dove finisce una e comincia l'altra. La segmentazione per istanze invece separa ogni oggetto, con la sua maschera e il suo numero. Di solito parte da un rilevatore e dentro ogni riquadro disegna la maschera.

In pratica. Per contare oggetti che si toccano, come chicchi di caffè o cellule, serve la segmentazione per istanze. Quella semantica li fonde in una macchia sola.
05 Le videochiamate
Lo sfondo sfocato è un modello sempre acceso.

Quando il telefono sfoca lo sfondo di una videochiamata, sta segmentando ogni fotogramma in due classi, persona e sfondo. Deve farlo 30 volte al secondo, mentre intanto comprime il video e lo spedisce. Il modello di MediaPipe che fa questo lavoro pesa circa 250 KB e guarda immagini di 256 per 256 pixel.

In pratica. Capelli e dita sono i punti più difficili, perché sono sottili rispetto ai pixel del modello. Una luce che stacca la persona dallo sfondo aiuta più di un modello grande.
06 La profondità
Quanto è lontano ogni pixel, da una foto sola.

Un altro tipo di modello dà a ogni pixel non una classe ma un numero, la distanza. Si chiama stima della profondità. Da una foto sola non conosce i metri veri, ma capisce cosa sta davanti e cosa dietro, dalle ombre, dalle dimensioni e dalle linee. Molti telefoni lo usano per sfocare lo sfondo nei ritratti.

In pratica. Gli iPhone Pro dal 2020 hanno anche un sensore LiDAR, che misura la distanza davvero con la luce. Dove c'è, il modello serve a riempire i dettagli tra un punto e l'altro.
07 La scelta
Classe, riquadro o maschera, lo decide la domanda.

Più la risposta è precisa, più costa, sia in calcoli sia in etichette. Una classe si assegna con un tocco, un riquadro in qualche secondo. Per il contorno di un solo oggetto nel dataset COCO servivano più di 70 secondi. Prima di scegliere chiediti cosa ti serve sapere. Se la foglia è malata, quante macchie ha o quanto sono grandi.

In pratica. Nel dubbio parti dalla classificazione. Passa al riquadro o alla maschera solo quando la domanda lo chiede davvero.

01 / 07

(Approfondisci)

Qualche numero in più.

(01)

U-Net, nata per il microscopio

Olaf Ronneberger e due colleghi dell'Università di Friburgo hanno presentato U-Net nel 2015. Serviva a segmentare cellule al microscopio, dove le foto etichettate sono pochissime. In una delle gare che ha vinto aveva a disposizione solo 30 immagini per imparare.

Il segreto sono i ponti, in inglese skip connection. Copiano i dettagli fini dalla prima metà della rete, prima che vadano persi, e li consegnano alla seconda metà proprio dove servono per disegnare i bordi. Da allora la forma a U si trova ovunque, anche dentro molti modelli che generano immagini.

(02)

Come si misura una maschera

Per le maschere si usa lo stesso IoU^02.03 dei riquadri, contando i pixel invece delle aree. Si confronta la maschera del modello con quella disegnata a mano, pixel in comune diviso pixel coperti in tutto.

In medicina si usa spesso anche il coefficiente di Dice. Conta due volte i pixel in comune e li divide per la somma dei pixel delle due maschere. Va da 0 a 1 come l'IoU ed è sempre un po' più alto a parità di maschere, quindi due numeri vanno confrontati solo se sono dello stesso tipo.

IoU  = pixel in comune / pixel coperti in tutto
Dice = 2 × pixel in comune / (pixel della maschera A + pixel della maschera B)

(03)

Profondità relativa e metri veri

Depth Anything V2, pubblicato nel 2024, esiste in tre taglie. La più piccola ha circa 25 milioni di pesi, la più grande 335 milioni. Di base dà una profondità relativa. Sa che il vaso è più vicino della finestra, non che è a 80 centimetri.

Per avere i metri servono altre informazioni, come la dimensione del sensore e la lunghezza focale, oppure un modello addestrato apposta su foto con le distanze misurate. È quello che fanno le versioni metriche dello stesso modello, e Depth Pro di Apple.

25 Mpesi della versione Small
335 Mpesi della versione Large

(Prova sul telefono)

La segmentazione dal vivo

Usa la fotocamera frontale e inquadrati. Il modello separa in diretta la persona dallo sfondo, che si spegne. Con i pulsanti sotto l'inquadratura vedi solo la maschera, oppure sfochi lo sfondo come in una videochiamata. Con il cursore cambi la soglia di confidenza e guardi come cambiano i bordi, soprattutto intorno ai capelli e alle dita.

Lo strumento ha bisogno di JavaScript acceso.

Prova con la luce alle spalle e poi con la luce davanti. Il modello è lo stesso, la maschera no. Le immagini restano nel telefono.

(Verifica)

4 domande per chiudere la lezione.

Quando rispondi a tutte, la lezione risulta fatta e sulla mappa la sua pietra diventa gialla. Conta rispondere, non il punteggio.

(01)

Vuoi sapere quanta parte di una foglia è malata, in percentuale. Cosa usi?
(02)

A cosa servono i ponti tra le due metà di una U-Net?
(03)

Tre mele si toccano. Cosa fa la segmentazione semantica?
(04)

Cosa non può sapere un modello di profondità da una foto sola?

Parole nuove, e dove sono spiegate

Encoder e decodercapitolo 3
Segmentazione per istanzecapitolo 4
Stima della profonditàcapitolo 6

Fonti e letture

Per chiudere la lezione rispondi alla verifica

← Trovare gli oggetti Torna alla mappa

(Prossima lezione · 02.05) Mani, corpo, volto