Fer funcionar un model d'IA, el que el sector anomena inferència, té un cost en electricitat i en xips, i els proveïdors el cobren per milions de fragments de text processats, els *tokens*. Algunes empreses han provat de repartir aquesta feina entre ordinadors particulars. Darkbloom, un projecte d'Eigen Labs, de Seattle, permetia als propietaris d'un Mac potent cedir-ne el processador gràfic a canvi de diners, amb encàrrecs que arribaven a través del servei OpenRouter.
Segons The Register, l'equip ha reconegut aquesta setmana que els guanys són baixos. Uns 800 participants cobren entre uns quants cèntims i uns quants dòlars al dia, i la mediana dels 50 primers de la classificació és d'uns 5,26 dòlars diaris. Darkbloom calcula que un Mac mini amb xip M5 Pro i 64 GB de memòria podria guanyar fins a 192 dòlars al mes, però només si treballés 24 hores al dia. Un dels investigadors, que signa com a Kydo, va dir que «el mercat ha arribat al nostre preu» i que la inferència «no valdrà la pena» en els Mac que no tinguin els xips més potents. El projecte vol orientar els usuaris cap als models amb més demanda, oferir-los altres feines de càlcul i buscar compradors fora d'OpenRouter.
El cas és un termòmetre de la caiguda del preu de la IA. The Register recull que els preus dels *tokens* han baixat un 54% des del maig, segons Axios, i que l'índex de preus de Ramp situa el cost mitjà dels models d'Anthropic en 0,62 dòlars per milió de *tokens* el 22 d'octubre, quan l'1 de maig era de 2,65. Kydo ho atribueix a uns centres de dades que produeixen molt més amb el mateix maquinari: diu que el rendiment de cada clúster de Nvidia s'ha multiplicat per vint aquest any. Per als usuaris finals és una bona notícia; per als models de negoci que es basen a revendre càlcul, no tant.
Les xifres de guanys són les que dona el mateix projecte i no s'han pogut contrastar de manera independent, i la classificació només recull els participants més actius. L'índex de Ramp mesura preus mitjans ponderats, no la tarifa d'un model concret. Darkbloom diu que no plegarà, però no ha concretat quan arribaran els canvis.