La evaluación de LLM es el conjunto de pruebas que convierte un "las respuestas se ven bien" en un veredicto sobre el que un pipeline puede actuar. En un agente, lo que se prueba es una conversación con herramientas y estado, donde la misma entrada puede dar muchas respuestas aceptables y muchas sutilmente equivocadas. Una empresa necesita este trabajo cuando los cambios de prompts, herramientas o modelos salen porque unas cuantas conversaciones se leyeron bien, y nadie puede demostrar que el último cambio no rompió algo tres turnos adentro de una conversación.
Qué construyo
- Casos de referencia escritos como código. Escenarios guionados con su estado inicial, los turnos del usuario, las operaciones esperadas y los resultados que no se aceptan, versionados junto al código que prueban.
- Comprobaciones deterministas. Las llamadas a herramientas, los campos obligatorios, los importes exactos y las operaciones prohibidas los revisa código común. Un juez nunca califica lo que una comparación de texto puede decidir.
- Un juez calibrado. Un segundo modelo califica solo lo que pide criterio. Su rúbrica se corrige contra turnos etiquetados a mano, y cada comprobación juzgada se decide por mayoría entre varias corridas.
- Un mundo sellado para cada caso. Cada caso corre como su propio usuario sintético, con su estado sembrado y su fecha, y el juez también ve ese estado inicial.
- Compuertas por ambiente. Un grupo de pruebas de humo en cada merge de integración y la regresión completa antes de promover.
Señales de que todavía no se puede confiar en una evaluación
- El mismo cambio pasa un día y falla al siguiente, y la gente lo vuelve a correr hasta que sale en verde.
- Todos los casos corren con el mismo usuario de prueba, así que el porcentaje de aprobación cambia con el orden de los casos.
- Un modelo califica lo que el código podría revisar: un formato, una cifra, si se llamó una herramienta.
- Nadie ha comparado los veredictos del juez con los de una persona, caso por caso.
Cada señal tiene un arreglo conocido, y el orden importa. El aislamiento va antes que las corridas en paralelo: una batería cuyos casos comparten estado se vuelve inestable cuando corren al mismo tiempo. La calibración va antes que la compuerta: una compuerta sobre un juez que nadie revisó le enseña al equipo a dejar de leer sus fallas.
Cómo se trabaja
- Leer cómo sale hoy un cambio. Reviso el camino de un pull request a producción y las fallas que ya costaron algo. De ahí salen los primeros casos.
- Escribir los casos. Tareas comunes, límites de permisos, solicitudes ambiguas y fallas de una dependencia. Cada caso declara su propio mundo: la fecha, el historial del usuario, el catálogo que usa el agente.
- Separar las expectativas. Lo que el código puede decidir va al código, y lo que pide interpretación va al juez. Mezclarlas es el origen de casi todas las baterías inestables.
- Calibrar al juez. Etiquetamos a mano un conjunto de conversaciones, corremos al juez sobre ellas y leemos cada desacuerdo. A veces la etiqueta humana es la equivocada. La rúbrica corregida vive en control de versiones junto a las pruebas.
- Romper al agente a propósito. Una llamada prohibida, un precio incorrecto, evidencia que falta. La batería debe fallar.
- Conectar la compuerta. La batería corre en el pipeline con la profundidad que le toca a cada ambiente, y cada resultado registra qué candidato se evaluó.
Qué recibes
Los casos, el harness, la rúbrica con sus ejemplos etiquetados y el paso del pipeline, en tu repositorio, con notas para agregar un caso y para volver a calibrar. La calibración no se termina. Converge.
Qué no incluye
No vendo una calificación. Un porcentaje de aprobación que sale de una batería con estado compartido, o de un juez que nadie revisó, mide a la batería. La evaluación tampoco vuelve determinista a un modelo. Vuelve determinista lo que lo rodea, para que un no detenga la versión.
Dónde está la evidencia
Para un grupo de educación superior que atiende a más de 700,000 estudiantes construí la maquinaria que decide si un cambio en sus agentes de producción puede salir: los casos, el juez calibrado, los usuarios aislados y las compuertas de cada ambiente. La compuerta reproduce 138 casos de referencia antes de cada versión. Ese trabajo sacó fallas que vale la pena leer: un juez que razonaba con el reloj real y reprobaba respuestas correctas sobre fechas límite, y un juez que reportó un defecto de formato que no estaba en la transcripción. Mi investigación aplica la misma disciplina en público: un estudio preregistrado sobre cómo encuentran documentos los agentes, publicado con su harness.