Integridad de workflows agénticos: vincular evaluación y ejecución

Cómo conservar la identidad de un workflow de agentes entre configuración, evaluación, aprobación y despliegue.

La integridad de workflows agénticos permite comprobar que el workflow admitido para ejecución es el que fue evaluado y que sus transiciones cumplieron las condiciones requeridas. Una ejecución exitosa no demuestra esa cadena por sí sola. La identidad del workflow debe mantenerse vinculada a la evidencia que autoriza sus transiciones.

Identifica el comportamiento que vas a promover

El código es una entrada. El comportamiento también depende de la versión del modelo, instrucciones, definiciones de herramientas, configuración de recuperación y ajustes del runtime. Registra esas versiones juntas. Cuando sea viable, usa artefactos identificados por contenido para que otro revisor pueda detectar cambios.

En workflows dinámicos, distingue la versión del planificador del grafo producido. Registra por separado el grafo ejecutable y el ambiente admitido. Congelar un grafo no vuelve deterministas sus dependencias externas.

Vincula la aprobación con un candidato concreto

Evalúa una configuración candidata, adjunta los resultados a ese candidato y haz que la promoción haga referencia a ambos. Si cambia una herramienta o un prompt después de evaluar, el resultado anterior no puede autorizar silenciosamente el comportamiento nuevo. Define qué cambios requieren otra evaluación y quién puede aprobar excepciones.

Cadena de promoción ilustrativa:
manifiesto de comportamiento → evidencia → aprobación → manifiesto desplegado
        comparar identidad en cada transición; detenerse ante diferencias

Mi investigación sobre justificación estudia esta vinculación en registros públicos de entrega. The Agent Graph Runtime ofrece otro modelo para construcción, calificación, admisión y ejecución. Ambas publicaciones orientan el diseño; ninguna certifica un despliegue particular.

Conserva la integridad durante la ejecución

Haz explícitas las transiciones de estado. Una acción en cola, un intento y una acción completada son estados diferentes. Usa idempotencia al reintentar, valida requisitos antes de pasos de impacto y conserva evidencia de éxitos y denegaciones. La recuperación debe partir de estado durable, sin pedirle al modelo que adivine hasta dónde llegó la ejecución anterior.

El contenido externo puede contener instrucciones. Trátalo como datos con una fuente, no como autoridad para cambiar permisos del workflow. Una aprobación debe seguir vinculada a la operación aprobada.

Prueba la cadena donde puede romperse

Cambia un prompt después de evaluar y comprueba que la promoción rechace la diferencia. Repite una escritura y verifica que no se duplique. Interrumpe entre pasos y revisa la recuperación. Retira evidencia requerida y comprueba que la transición permanezca bloqueada. Esos controles negativos demuestran que las protecciones afectan la ejecución.

Al revisar a un ingeniero, pide el manifiesto candidato, resultado de evaluación e identidad desplegada de un cambio real. Las fuentes siguientes describen mi trabajo de evaluación e investigación sobre workflows, incluidos sus límites.

Trabajo y evidencia

Evaluation gates for a multi-agent education system (se abre en una pestaña nueva)

Mi contribución: Construcción del harness de evaluación, calibración del juez LLM, aislamiento de casos y controles por ambiente.

Qué respalda: El caso público describe casos de referencia como código, un juez LLM calibrado y el harness de evaluación que los ejecuta, sobre agentes en Google Cloud.

Qué no demuestra: La cifra de más de 700,000 estudiantes describe la población atendida por el sistema. No mide usuarios simultáneos, solicitudes por segundo ni autoría individual de toda la plataforma. El código y los datos del cliente son privados.

Fuente revisada:

From Traceability to Justifiability (se abre en una pestaña nueva)

Mi contribución: Autor de un preprint público sobre estructuras de responsabilidad en ingeniería de software agéntico, con código y registros enlazados desde el índice de investigación.

Qué respalda: Investigación sobre la vinculación entre comportamiento evaluado y desplegado y la evidencia que respalda una promoción.

Qué no demuestra: Preprint con un estudio fechado de material público; no certifica ningún sistema de producción.

Fuente revisada:

The Agent Graph Runtime (se abre en una pestaña nueva)

Mi contribución: Autor del modelo de runtime que separa construcción del grafo, calificación, admisión, ejecución y evidencia.

Qué respalda: Modelo conceptual publicado para razonar sobre identidad ejecutable y ciclo de vida de workflows.

Qué no demuestra: Modelo y representación de referencia; no garantiza rendimiento ni fiabilidad.

Fuente revisada:

Guías técnicas