¿Qué es un caso de referencia en la evaluación de LLM?
Un caso de referencia (golden case) es un escenario escrito para un agente de IA: un estado inicial, los turnos del usuario y el resultado esperado en cada turno. Se guarda como código junto al agente, y el conjunto completo se reproduce antes de publicar una versión para saber si un cambio rompió algo.
Rashid Azarang · Ingeniero de IA senior · Monterrey, México · Actualizado
Cómo funciona
Un caso de referencia tiene cuatro partes: el estado inicial, los turnos que dirá el usuario, las operaciones que se esperan del agente y los resultados que no se aceptan. Un ejemplo pequeño: un usuario pide la factura de otro cliente. Lo esperado es que se le niegue el acceso y que no regrese ningún registro protegido.
Un buen conjunto cubre tareas normales, límites de autorización, solicitudes ambiguas y fallas de los sistemas de los que depende el agente. Los casos se versionan junto con la configuración que evalúan.
Dentro de un caso hay expectativas de dos tipos. Unas las decide el código: si se llamó la herramienta de citas, si el agente se negó a inventar un precio. Otras requieren criterio: si la respuesta atendió la solicitud, en el registro correcto y con los datos correctos del programa. Mezclar los dos tipos es el origen de casi todas las baterías de pruebas inestables.
Dónde aparece en el trabajo real
Para los agentes de un grupo de educación superior escribí los casos de referencia como código, en el repositorio del agente. Un aspirante pregunta por un programa. Un estudiante inscrito necesita reagendar. Una conversación tiene que terminar con el caso en manos de una persona. Cada caso deja escrito lo que se espera en cada turno. La fecha, la situación del estudiante y el catálogo que consulta el agente salen del propio caso, nunca del mundo exterior. Hoy la compuerta reproduce 138 casos de referencia antes de cada versión.
Qué no es
Un caso de referencia no es una verdad permanente: registra lo que el producto debe hacer con la política vigente, y cuando la política cambia la expectativa se revisa con ella. Tampoco es material para afinar. Conviene guardar aparte un conjunto reservado para una validación más amplia, de modo que ajustar una rúbrica no se convierta en memorizar las pruebas.
Cuándo los necesitas
Escribe casos de referencia cuando el agente toma decisiones cuyo cambio silencioso importaría: un precio, una cita, el paso del caso a una persona. Leer a mano unas cuantas conversaciones y quedarse tranquilo funciona un tiempo. Deja de funcionar con el primer cambio que rompe la lógica de citas en el tercer turno de una conversación que nadie volvió a leer. A partir de ahí los escenarios se escriben, con sus expectativas, y se reproducen en cada cambio.
Mi contribución: Construcción del harness de evaluación, calibración del juez LLM, aislamiento de casos y controles por ambiente.
Qué respalda: El caso público describe casos de referencia como código, un juez LLM calibrado y el harness de evaluación que los ejecuta, sobre agentes en Google Cloud.
Qué no demuestra: La cifra de más de 700,000 estudiantes describe la población atendida por el sistema. No mide usuarios simultáneos, solicitudes por segundo ni autoría individual de toda la plataforma. El código y los datos del cliente son privados.
Fuente revisada:
Preguntas frecuentes
¿Cuántos casos de referencia necesito?
No hay un número que yo daría como regla. En mi trabajo pesaron más dos propiedades que la cantidad: que cada caso lleve su propio estado simulado y que separe lo que el código puede comprobar de lo que requiere criterio. Para la cobertura, incluye tareas normales, límites de autorización, solicitudes ambiguas y fallas de dependencias.
¿Dónde se guardan los casos de referencia?
En el repositorio, junto al código y la configuración que evalúan. Así el cambio en el comportamiento del agente y el cambio en sus expectativas llegan en el mismo pull request y se revisan juntos.
¿En qué se distingue un caso de referencia de una prueba unitaria?
Una prueba unitaria hace aserciones deterministas sobre código determinista. Un caso de referencia prueba una conversación, donde la misma entrada admite muchas redacciones aceptables y muchas sutilmente equivocadas. Por eso combina comprobaciones exactas en código con expectativas que califica un modelo juez calibrado.
¿Qué pasa con un caso de referencia cuando cambia el producto?
La expectativa se revisa junto con la política que cambió. Un caso de referencia expresa una expectativa, no una verdad inmutable, así que actualizarlo es trabajo normal. Como el caso es código, la actualización pasa por revisión como cualquier otro cambio.