La majoria de proveïdors de núvol especialitzats en IA construeixen el seu negoci comprant i llogant grans volums de GPU de Nvidia, i deixen que sigui el mateix xip qui executi sencera cada tasca d'inferència d'un model de llenguatge. Gimlet Labs planteja una via diferent: un programari que, amb agents d'IA i compiladors a mida, trenca automàticament un model gran en mòduls i col·loca cada un a l'arquitectura de xip que més li convé, ja sigui GPU, CPU o processadors de flux de dades, separant fins i tot les fases de «prefill» i «decode» d'una mateixa consulta si cal.
Gimlet Labs ha anunciat el 4 de setembre el tancament d'una ronda de finançament de sèrie B de 300 milions de dòlars, liderada per Andreessen Horowitz, amb la participació d'Arm, Samsung Ventures, el fons M12 de Microsoft i més d'una desena d'altres inversors; el finançament total captat per l'empresa ja supera els 390 milions de dòlars i la valoració se situa en 3.000 milions. Segons l'empresa, ja acumula contractes per valor de milers de milions de dòlars amb clients que inclouen un dels grans proveïdors de núvol mundials i un laboratori d'IA entre els tres més grans del sector. Amb el nou capital, Gimlet preveu ampliar la seva infraestructura de servei en diversos centenars de megawatts més i desenvolupar un servidor optimitzat per a inferència sense placa base, pensat per funcionar fora dels centres de dades convencionals.
La notícia és rellevant perquè mostra com el negoci de la infraestructura d'IA es va tornant més especialitzat a mesura que madura: en lloc de competir només per acumular més GPU, Gimlet aposta que combinar diferents tipus de xip per a cada part d'una mateixa tasca pot ser més eficient i barat, una proposta que atrau inversors com Arm i Samsung amb interessos directes en arquitectures alternatives a les de Nvidia; que la valoració es mantingui elevada en un moment en què el mercat comença a exigir més proves de rendibilitat als negocis d'infraestructura d'IA també és significatiu.
Cap font independent ha confirmat els detalls exactes dels contractes «de milers de milions de dòlars» que l'empresa diu tenir, ni s'ha fet pública la identitat del proveïdor de núvol ni del laboratori d'IA que en serien clients; tampoc no hi ha encara dades públiques de rendiment que comparin de manera independent la infraestructura multixip de Gimlet amb la dels proveïdors que fan servir només GPU de Nvidia.