Llama.cpp és un programa de codi obert que permet fer funcionar models de llenguatge al mateix ordinador, al mòbil o en un servidor propi, sense dependre del núvol d'una gran empresa. El va començar el programador búlgar Georgi Gerganov el 2023 per executar el primer model Llama de Meta en un portàtil, i s'ha convertit en una de les peces bàsiques de la IA local: moltes de les aplicacions que permeten descarregar i fer servir models oberts a casa funcionen per sota amb llama.cpp i amb ggml, la biblioteca de càlcul en què es basa. Avui el desenvolupa l'equip de ggml-org, dins de Hugging Face.
Aquest equip ha publicat la versió 1.0.0 de llama.cpp i de ggml, tres anys i mig després del primer codi. El canvi principal no és cap funció nova, sinó un compromís: a partir d'ara les dues biblioteques seguiran el sistema de versions semàntiques, en què el primer número només canvia quan una actualització trenca la compatibilitat amb els programes que les fan servir, el segon quan s'afegeixen funcions o models nous sense trencar res i el tercer quan només es corregeixen errors. Segons la nota, llama.cpp ja admet més de 150 variants d'arquitectures de models i tots els mètodes habituals per accelerar les respostes, i es pot instal·lar a Linux, macOS, Windows, Android i iOS amb els gestors de paquets més comuns. NVIDIA, AMD, Qualcomm, Arm, IBM i Intel hi aporten màquines perquè cada canvi es provi amb el seu maquinari.
Per a qui desenvolupa aplicacions, la versió 1.0 vol dir poder actualitzar llama.cpp sense por que l'aplicació deixi de funcionar d'un dia per l'altre, una cosa que fins ara passava sovint perquè el projecte canviava molt de pressa. Per al conjunt de la IA oberta és un senyal de maduresa: una eina nascuda com un experiment de cap de setmana es comporta ara com un programari d'infraestructura, en un moment en què Hugging Face mateix avisava fa uns dies que els atacs informàtics podrien obligar a tancar una part de la IA oberta.
La nota no anuncia millores de velocitat ni funcions noves per a l'usuari final, i alguns usuaris han recordat als comentaris que encara cal millorar la rapidesa amb què es processen les instruccions molt llargues. El compromís de compatibilitat afecta la interfície de programació en C de les biblioteques; no garanteix que els models o els formats de fitxer no canviïn.
