¿Qué es el estado hermético en pruebas de agentes de IA?
El estado hermético significa que cada caso de prueba de un agente de IA corre con su propio usuario y con un estado inicial que el mismo caso declara, y nada más. Ninguna memoria pasa de un caso al siguiente, así que la tasa de aprobación mide al agente y no el orden en que corrieron las pruebas.
Rashid Azarang · Ingeniero de IA senior · Monterrey, México · Actualizado
Cómo funciona
Un agente con memoria recuerda las conversaciones anteriores. Para eso se construyó. Cuando todas las pruebas corren con un mismo usuario de prueba, el segundo caso arranca con lo que dejó el primero: preferencias que el usuario "expresó", datos que el agente "aprendió". Unos casos pasan gracias a esas sobras y otros fallan por ellas.
Un caso hermético está sellado, como un frasco. Corre con su propio usuario sintético. Su estado inicial se declara en su archivo de preparación y no se acumula a partir de una conversación previa. Su fecha es la que el caso fija. Cuando termina, se limpian sus efectos y su mundo se acaba con él. No entra nada que el caso no haya declarado.
Dónde aparece en el trabajo real
Una batería de pruebas que tengo a mi cargo en un sistema en producción corría todo con el mismo usuario simulado. Su tasa de aprobación medía al agente revuelto con el orden de ejecución. Le di a cada caso su propio usuario y su propio estado inicial, y le mostré ese estado al modelo que califica las conversaciones.
Los números se volvieron honestos y llegó un segundo resultado sin esfuerzo adicional. Cuando el orden dejó de importar, los casos pudieron correr al mismo tiempo. Primero se paralelizaron los conjuntos y después los casos individuales. La regresión completa dejó de ser el paso más lento del pipeline y ahora corre en cada versión.
Qué no es
El estado hermético no consiste en quitarle la memoria al agente. En el software de siempre el estado compartido es un defecto de diseño que se elimina, pero en un agente la memoria es el producto, así que se contiene y no se borra. Tampoco es una técnica para ganar velocidad: el paralelismo es consecuencia del aislamiento y no puede llegar antes.
Cuándo lo necesitas
Lo necesitas en cuanto el agente conserva algo entre conversaciones: memoria, personalización, historial. El costo es real pero pequeño. Los archivos de preparación crecen y cada caso paga una vez por declarar su mundo. A cambio, depurar una falla ya no exige escarbar en lo que corrió antes. Una batería de pruebas existe para responder una pregunta: ¿este cambio rompió al agente? Solo responde con honestidad cuando cada veredicto depende de la prueba, del agente y de nada más.
Mi contribución: Construcción del harness de evaluación, calibración del juez LLM, aislamiento de casos y controles por ambiente.
Qué respalda: El caso público describe casos de referencia como código, un juez LLM calibrado y el harness de evaluación que los ejecuta, sobre agentes en Google Cloud.
Qué no demuestra: La cifra de más de 700,000 estudiantes describe la población atendida por el sistema. No mide usuarios simultáneos, solicitudes por segundo ni autoría individual de toda la plataforma. El código y los datos del cliente son privados.
Fuente revisada:
Preguntas frecuentes
¿Cómo sé si mis pruebas de agentes comparten estado?
Corre la batería en orden inverso y luego en orden aleatorio. Si los resultados cambian, los casos están heredando estado unos de otros. Una tasa de aprobación que depende del orden no está midiendo al agente.
¿Se pueden correr en paralelo las pruebas de un agente?
Sí, una vez que los casos están aislados. Los casos que comparten estado no pueden correr al mismo tiempo porque su orden importa. Primero va el aislamiento y después la velocidad: paralelizar una batería con estado compartido convierte acoplamientos predecibles en condiciones de carrera.
¿Cómo obtiene una prueba un usuario que regresa con historial?
El caso declara ese historial en su archivo de preparación. No lo consigue corriendo antes otra conversación. Así cualquiera puede leer la preparación y saber todo lo que el agente sabe al empezar.
¿El modelo juez necesita ver el estado de la prueba?
Sí. Si un caso arranca con un usuario que ya tiene historial y el juez no lo sabe, califica contra el mundo equivocado y marca al agente por saber cosas que el usuario nunca dijo. El estado inicial declarado, incluida cualquier fecha simulada, se le muestra al juez junto con la conversación.