Els microscopis electrònics de transmissió més avançats poden distingir estructures de la mida de mig àtom d'hidrogen, però fer-los servir exigeix anys d'experiència: cal ajustar l'augment, inclinar la mostra, tornar a enfocar el feix i coordinar desenes de passos. Al National Center for Electron Microscopy, que forma part de la Molecular Foundry del Lawrence Berkeley National Laboratory (Califòrnia), un detector pot generar uns 700 gigabytes de dades en quinze segons.
Un equip del laboratori, encapçalat per Morgan K. Wall, ha publicat a la revista revisada per parells «npj Computational Materials» TEM Agent, un assistent que connecta un model de llenguatge comercial amb el microscopi a través d'MCP, un protocol que exposa cada component de l'aparell com un conjunt d'eines. L'usuari descriu l'experiment amb llenguatge corrent i l'agent encadena els passos necessaris. L'equip el va provar en tomografia electrònica, que reconstrueix en tres dimensions una mostra a partir d'imatges preses amb diferents inclinacions, i en pticografia, una tècnica d'imatge computacional. El sistema també està connectat al centre de supercomputació NERSC per processar les dades més de pressa i a una base de dades de la Molecular Foundry on es poden consultar, amb preguntes escrites, els paràmetres d'experiments anteriors.
Una decisió de disseny és la que fa el treball interessant més enllà d'aquest aparell: el model no controla el microscopi lliurement. Els investigadors van reescriure com a accions tancades i ja programades les rutines d'automatització que ja tenien, com la d'obtenir imatges de moltes nanopartícules seguides, i l'agent només pot cridar aquestes accions. És una manera d'aprofitar la facilitat d'ús dels models de llenguatge sense deixar-los prendre decisions imprevistes sobre un instrument molt car. Els autors diuen que l'objectiu és estendre l'expertesa, no substituir-la.
Segons la nota del laboratori, els primers intents de tomografia van fallar perquè l'agent confonia inclinar la mostra amb escombrar el feix, i l'equip hi va haver d'afegir una explicació breu. L'article no presenta comparacions formals amb un operador humà ni estudis amb usuaris, i les millores de temps que es comenten, com passar d'hores a segons en el processament de dades, depenen sobretot de la connexió amb el supercomputador. L'adaptació a altres centres de recerca encara està en curs.