Cosa c'è dentro il tuo telefono.

Perché la memoria costa più dei calcoli

Nel 2014 Mark Horowitz, di Stanford, ha misurato quanta energia costano le operazioni dentro un chip. Una moltiplicazione tra due numeri decimali a 32 bit costa circa 3,7 picojoule. Leggere quegli stessi 32 bit dalla memoria esterna ne costa circa 640, quasi duecento volte tanto.

Per questo i modelli per telefono cercano di spostare pochi dati. Si usano numeri più piccoli, da 8 bit invece di 32, e reti che riusano gli stessi numeri tante volte appena arrivati nel chip. Con numeri da 8 bit anche la moltiplicazione costa meno, circa 0,2 picojoule.

• 640 pJleggere 32 bit dalla memoria
• 3,7 pJmoltiplicare due numeri a 32 bit
• 0,2 pJmoltiplicare due numeri a 8 bit

Chi può usare la NPU, e quando

Non tutte le app arrivano alla NPU. Su iPhone ci si arriva con Core ML, il motore di Apple, che decide da solo se usare Neural Engine, GPU o CPU. Su Android ogni produttore ha i suoi strumenti, e Google offre LiteRT, che prova a usare l'acceleratore giusto per ogni telefono.

Il browser per ora non arriva alla NPU. Esiste una proposta per farlo, si chiama WebNN, ma non è ancora disponibile su tutti i telefoni. Per questo il laboratorio del corso usa la GPU, che nel browser si raggiunge con WebGL e WebGPU. È un po' meno efficiente della NPU ma funziona dappertutto.

Da freddo e da caldo

Un telefono non ha ventole. Il calore del chip passa alla scocca e da lì all'aria, e se ne produce più di quanto ne esca il sistema abbassa la velocità dei processori. Succede dopo qualche minuto di lavoro pesante, prima d'estate o con il telefono in custodia.

Per un modello vuol dire che la stessa foto può richiedere 20 millisecondi appena acceso il telefono e molti di più dopo dieci minuti. Quando provi il tuo modello nel laboratorio, lascialo girare un po' prima di guardare i numeri.