¿Qué es la auditabilidad de agentes de IA?

La auditabilidad de agentes de IA es la capacidad de reconstruir lo que hizo un agente y de revisar la evidencia detrás de cada acción. Una conversación conserva lo que se dijo, y un rastro de auditoría muestra además qué identidad actuó, qué podía hacer, qué herramienta se ejecutó y qué cambió.

Cómo funciona

La auditabilidad se construye en el límite de cada servicio, no dentro de la conversación. Cada ejecución y cada llamada a herramientas recibe un identificador estable. Junto a él se registra quién llamó, la decisión de autorización, la versión de la herramienta, la hora de inicio y de fin, el resultado y las referencias a los artefactos que produjo. Las versiones del modelo y del prompt se conservan a un lado de ese registro.

Hay una regla que pesa más que las demás: el servicio de la herramienta anota la operación que de verdad ejecutó. No depende de que el modelo cuente lo que hizo.

El registro también tiene límites que alguien fija a propósito: qué campos se pueden guardar, cuáles se ocultan, quién puede consultarlo y por cuánto tiempo. Una auditoría que expone datos de clientes abre otra superficie de incidentes.

Dónde aparece en el trabajo real

MetaMCP es un gateway de código abierto que construí. Los agentes llegan a muchas herramientas MCP a través de él, así que es un lugar natural para dejar registro. Cuando lo llevé de una laptop a la nube, la pregunta de su caso de estudio que más importó fue esta: ¿cómo sabemos qué pasó? La respuesta tiene cuatro partes: logs, pruebas de humo, fixtures de prompts y un archivo de bitácora que se exporta como evidencia. Cada llamada queda además ligada a una identidad, porque la plataforma verifica a quien llama y la aplicación revisa un token.

El problema más amplio lo medí en un preprint, From Traceability to Justifiability. Revisa 47 plataformas de entrega de software y 30 repositorios públicos, solo con material público. Ninguna plataforma tiene un registro por defecto que emita una identidad direccionada por contenido del comportamiento desplegado, es decir, la versión del modelo, las instrucciones, las definiciones de herramientas y la configuración de recuperación y de ejecución, tomadas en conjunto.

Qué no es

No es el historial de la conversación, y observar una ejecución no es lo mismo que justificarla. Una traza muestra que una herramienta se ejecutó. No demuestra que el usuario tuviera permiso, que los datos respaldaran la conclusión ni que el despliegue estuviera justificado.

Cuándo la necesitas

En cuanto un agente puede cambiar algo: escribir un registro, mandar un mensaje, aprobar un paso. Hay una prueba sencilla. Toma una acción fallida o disputada e intenta reconstruirla sin preguntarle al agente que la hizo. Si otra persona puede encontrar los argumentos reales, la decisión de permisos y el resultado, y distingue un intento de un cambio confirmado, el rastro sirve. Incluye en la prueba ejecuciones interrumpidas, operaciones denegadas, reintentos y fallas parciales.

Trabajo y evidencia

MetaMCP as a Cloud Run MCP gateway (se abre en una pestaña nueva)

Mi contribución: Construcción y documentación del gateway remoto, artefactos de registro, pruebas de humo y exportación de evidencia.

Qué respalda: Caso público sobre transporte, identidad del consumidor, secretos y evidencia de llamadas a herramientas.

Qué no demuestra: El caso no constituye una auditoría de seguridad independiente ni un benchmark público de concurrencia.

Fuente revisada:

From Traceability to Justifiability (se abre en una pestaña nueva)

Mi contribución: Autor de un preprint público sobre estructuras de responsabilidad en ingeniería de software agéntico, con código y registros enlazados desde el índice de investigación.

Qué respalda: Investigación sobre la vinculación entre comportamiento evaluado y desplegado y la evidencia que respalda una promoción.

Qué no demuestra: Preprint con un estudio fechado de material público; no certifica ningún sistema de producción.

Fuente revisada:

Preguntas frecuentes

¿Cuál es la diferencia entre trazabilidad y justificabilidad?

La trazabilidad muestra qué pasó: se ejecutó una herramienta, salió un release. La justificabilidad muestra que la evidencia autorizaba ese paso, y es el único nivel que puede negar una transición. En un release, esa evidencia puede incluir la configuración evaluada, los resultados de las pruebas, la aprobación y la identidad de lo que se desplegó.

¿Qué debe contener un registro de auditoría de un agente?

Para empezar: el identificador de la ejecución, el de la llamada, una referencia a quien actuó, la operación, la versión de la herramienta, la decisión de autorización, la hora de inicio y de fin, el resultado y las referencias a artefactos. Es un punto de partida, no un estándar de cumplimiento. El registro debe responder a las preguntas que la organización va a necesitar investigar.

¿Hay que guardar todo para siempre?

No. Define qué campos se pueden registrar, cuáles se ocultan, quién puede consultar los registros y cuánto tiempo se conservan. Una auditoría que expone datos de clientes crea un incidente nuevo.

¿Un pipeline puede demostrar que el agente que probó es el que desplegó?

En el material público que medí, todavía no. De 47 plataformas, ninguna emite por defecto una identidad verificable del comportamiento desplegado, y en las plataformas de agentes lo común es un número de versión inmutable detrás de un apuntador que sí se mueve, en 16 de 27. Los hallazgos corresponden a una muestra y a una fecha de observación definidas, y el paper dice qué refutaría cada uno.

Disponible para puestos senior de ingeniería de IA y proyectos por contrato, en remoto para Estados Unidos, México y Latinoamérica.