¿Qué es una compuerta de evaluación para agentes de IA?

Una compuerta de evaluación es un paso del pipeline de entrega que corre la evaluación de un agente de IA contra un cambio propuesto y puede decir que no. Un veredicto reprobatorio detiene el merge o la promoción, igual que una prueba fallida detiene al software de siempre.

Cómo funciona

Un agente es un modelo de lenguaje envuelto en prompts, herramientas y reglas de negocio. Si cambia cualquiera de ellos, el comportamiento puede moverse hacia donde nadie quería. La compuerta corre la batería de evaluación sobre el candidato, dentro del pipeline, y devuelve aprobado o reprobado. Un reprobado detiene la línea.

Hay dos condiciones para que valga la pena tenerla. La primera es un veredicto estable. La segunda es que el veredicto pertenezca al candidato que se va a desplegar. Los resultados se adjuntan a ese candidato y la decisión de promoverlo hace referencia a ambos. Si una herramienta o un prompt cambia después de evaluar, el resultado anterior no puede autorizar en silencio el comportamiento nuevo.

La profundidad de la compuerta depende del ambiente. En los merges de integración corre un grupo pequeño de pruebas de humo. Antes de promover a QA corre la regresión completa. Cada ambiente responde su propia pregunta, y la respuesta cara se paga donde rinde.

Dónde aparece en el trabajo real

Construí las compuertas de los agentes de un grupo de educación superior que atiende a más de 700,000 estudiantes, con promoción basada en trunk. Lo difícil no fue el paso del pipeline. Fue lograr un veredicto tan estable que pudiera bloquear un merge, y eso requirió cuatro piezas de ingeniería: escenarios escritos como código, un juez calibrado, estado aislado para cada escenario y una profundidad distinta por ambiente. El resultado es que un cambio sale como sale el software de siempre. Se abre un pull request, corre la compuerta, regresa un veredicto y un "no" lo detiene. La evaluación dejó de ser una fase posterior al desarrollo y se volvió la definición de terminado.

Qué no es

Una compuerta no es probar con demos, donde alguien corre unas conversaciones, las lee y publica. Tampoco es un reporte que se lee después de publicar. Y no vuelve determinista al modelo: el modelo puede muestrear, la compuerta no.

Cuándo la necesitas

La necesitas cuando el agente ya atiende a usuarios reales y los cambios no dejan de llegar. Antes de confiar en ella, decide qué cambios exigen una evaluación nueva y quién puede aprobar una excepción. Luego prueba la compuerta donde puede romperse, con un cambio que debería rechazar. Que una ejecución salga bien no demuestra que el workflow que corrió sea el que se evaluó. La identidad del candidato y la evidencia que lo autorizó tienen que seguir unidas.

Trabajo y evidencia

Evaluation gates for a multi-agent education system (se abre en una pestaña nueva)

Mi contribución: Construcción del harness de evaluación, calibración del juez LLM, aislamiento de casos y controles por ambiente.

Qué respalda: El caso público describe casos de referencia como código, un juez LLM calibrado y el harness de evaluación que los ejecuta, sobre agentes en Google Cloud.

Qué no demuestra: La cifra de más de 700,000 estudiantes describe la población atendida por el sistema. No mide usuarios simultáneos, solicitudes por segundo ni autoría individual de toda la plataforma. El código y los datos del cliente son privados.

Fuente revisada:

Preguntas frecuentes

¿Cada cambio debe correr la batería completa de evaluación?

No. Una sola profundidad para todo es demasiado lenta para cada merge de integración y demasiado superficial para una promoción a producción. En mi trabajo corre un grupo de pruebas de humo en integración y la regresión completa de casos de referencia antes de que QA promueva.

¿Por qué los ingenieros empiezan a ignorar una compuerta de evaluación?

Porque su veredicto no es estable. Cuando el mismo cambio pasa un día y falla al siguiente sin que nada haya cambiado, la gente la vuelve a correr hasta que pasa y deja de leer las fallas. En mi trabajo la estabilidad pidió un modelo juez calibrado, comprobaciones en código para todo lo que el código puede decidir y casos de prueba que no comparten estado.

¿Qué pasa si un prompt cambia después de aprobar la evaluación?

El resultado anterior ya no cubre a ese candidato. El comportamiento de un agente depende de la versión del modelo, las instrucciones, las definiciones de herramientas, la configuración de recuperación y los ajustes del runtime. Un cambio en cualquiera de ellos pide una evaluación nueva o una excepción aprobada por quien tenga la autoridad para darla.

¿Cómo compruebo que la compuerta sí bloquea una mala versión?

Con controles negativos. Cambia un prompt después de evaluar y verifica que la promoción rechace la diferencia. Retira una evidencia requerida y verifica que la transición siga bloqueada. Esos controles muestran que la compuerta afecta lo que se ejecuta.

Disponible para puestos senior de ingeniería de IA y proyectos por contrato, en remoto para Estados Unidos, México y Latinoamérica.