Moltes aplicacions pràctiques d'un model de llenguatge exigeixen respondre preguntes sobre un conjunt tancat i concret de documents —els manuals interns d'una empresa, un recull de contractes legals—, i la solució habitual és la «generació augmentada per recuperació» (RAG): el sistema va a buscar els fragments rellevants del corpus en el moment de respondre. Aquest mètode depèn, però, que el pas de recuperació trobi sempre el fragment correcte, i quan falla, la resposta falla amb ell. Una alternativa és «internalitzar» directament el coneixement del corpus als pesos del model, de manera que no calgui anar a buscar-lo, però els intents anteriors solien degradar les capacitats generals del model en el procés.
Qian Kou, Xiaofeng Shi, Xiaosong Qiu i Hua Zhou van publicar el 20 d'agost a arXiv «IAR» (Inject, Align, Recover), un procés d'entrenament posterior en tres etapes pensat per resoldre aquest compromís. La fase «Inject» converteix els documents del corpus en tasques de continuació de text, reescriptura i reconstrucció condicionada per instruccions; la fase «Align» adapta el model amb supervisió basada només en respostes a preguntes sobre el corpus, i la fase «Recover» fusiona el model ja adaptat al domini amb el model base original per recuperar les capacitats generals que l'adaptació hagi pogut malmetre. Provat en quatre famílies de models oberts —Llama, Phi, Qwen i SmolLM—, IAR supera l'ajustament fi supervisat convencional (SFT) en set de vuit combinacions de conjunt de dades i model, amb una millora mitjana de 3,6 punts percentuals en precisió sobre preguntes del domini concret i de 12,1 punts percentuals en el rendiment general mitjà mesurat amb els bancs de proves IFEval, MMLU i MSBench, allà on l'ajustament fi tradicional sol fer baixar aquesta capacitat general.
El resultat és rellevant perquè evita dependre d'un pas de recuperació que pot fallar o triar el fragment equivocat, alhora que corregeix el problema habitual dels mètodes d'internalització anteriors, que guanyaven coneixement del domini a canvi de perdre capacitat general: la novetat central d'IAR és precisament aquesta última fase de fusió, que recupera bona part d'aquesta capacitat sense renunciar al guany de precisió sobre el corpus.
És un preprint encara no revisat per experts, provat sobre corpus de mida moderada i models relativament petits en comparació amb els grans models de frontera actuals, de manera que no queda clar si el mètode escala bé a corpus molt més grans o a models d'una mida molt superior. Els mateixos autors no exploren tampoc els límits del pas de fusió «Recover» quan el domini del corpus s'allunya molt de les dades amb què es va entrenar originalment el model base.