Els TPU són els processadors que Google dissenya per entrenar i fer funcionar models d'intel·ligència artificial, i són una de les poques alternatives reals als xips d'Nvidia, que dominen el mercat. A l'abril, a la conferència Cloud Next, l'empresa va presentar la vuitena generació partida en dos: el TPU 8t, pensat per entrenar models, i el TPU 8i, pensat per fer-los funcionar quan ja estan entrenats.
El 9 de novembre, Google hi va afegir dues versions més, segons va explicar en un article del seu blog Amin Vahdat, responsable tecnològic d'IA i infraestructura de l'empresa. El TPU 8tx fa servir el mateix silici que el xip d'entrenament, treballa amb els processadors EPYC de cinquena generació d'AMD i porta mesures de seguretat integrades al maquinari perquè les dades i els paràmetres del model quedin aïllats mentre es fan servir. Va adreçat a governs i empreses de sectors regulats que volen ajustar models o fer funcionar agents amb dades privades sense moure-les d'un lloc a l'altre, i Google diu que el seu disseny de xarxa redueix la latència fins a un 50% respecte del TPU 8t. El TPU 8i Max, en canvi, ajunta dos xips 8i en un sol paquet i en dobla la capacitat de càlcul, la memòria del xip i l'amplada de banda de memòria.
La jugada mostra cap on va la demanda. El TPU 8i Max apunta a les feines que es queden curtes de memòria, com els agents que treballen sobre tot el codi d'una empresa o els sistemes que analitzen hores de vídeo, i a més encabeix el doble de silici en el mateix espai d'armari, un argument important ara que l'electricitat i l'espai són el coll d'ampolla dels centres de dades. El 8tx busca un client que fins ara desconfiava del núvol: administracions, bancs o hospitals que no poden deixar sortir les dades. Segons Vahdat, el negoci dels TPU ja té prop d'un centenar de clients, entre laboratoris d'IA de primera línia, empreses d'inversió, comerços i universitats, i és la primera vegada que Google presenta quatre sistemes TPU en un mateix any.
Google no ha donat ni preus ni dates de disponibilitat per a cap dels dos xips nous, i les xifres de rendiment són les de l'empresa, sense cap prova independent. Tampoc no ha explicat amb detall com funciona la protecció de les dades al maquinari, que és justament el que hauran d'avaluar els clients més exigents abans de confiar-hi informació sensible.