Un sistema de agentes empresariales debe hacer más que responder correctamente. Debe respetar permisos, tolerar dependencias lentas, evitar acciones duplicadas y dejar evidencia suficiente para explicar qué ocurrió. Conectar datos corporativos con agentes exige arquitectura de aplicaciones además de conocimiento de modelos.
Define qué significa escala
Cientos de miles de usuarios registrados no equivalen a cientos de miles de conversaciones simultáneas. Antes de dimensionar, especifica usuarios activos, solicitudes por segundo en hora pico, sesiones simultáneas, llamadas a herramientas por turno, distribución del tamaño de las respuestas y objetivos de latencia. Incluye qué proporción de conversaciones escribe datos o requiere intervención humana.
El modelo y la base tienen límites de capacidad diferentes. Un servicio puede escalar instancias y aun así saturar su pool de conexiones o agotar la cuota del proveedor de modelos. Presupuesta esas dependencias juntas.
Acota la ruta interactiva
Autentica al usuario, resuelve permisos y recupera solo los datos necesarios. Define plazos para llamadas al modelo y herramientas. Limita iteraciones, tamaños de respuesta y conexiones a la base. Usa caché únicamente cuando permisos, aislamiento entre organizaciones y vigencia de datos lo permitan.
Envía el trabajo prolongado a una cola. Devuelve una referencia durable al trabajo y permite consultar su avance. Los reintentos necesitan espera progresiva y un presupuesto finito; las escrituras necesitan idempotencia. Si una dependencia falla, define cuándo dar una respuesta parcial, ofrecer un reintento o transferir a una persona.
Presupuesto operativo ilustrativo:
conversación → turnos acotados → herramientas con permisos
↓
pool de base / cuota de modelos
↓
cola o fallo controlado al agotarse la capacidad
Evalúa comportamiento y capacidad por separado
Una evaluación de comportamiento comprueba si el agente usó datos y herramientas correctos. Una prueba de carga comprueba si la ruta completa sostiene sus objetivos de latencia y error bajo una carga definida. Ejecuta ambas con ráfagas, consultas lentas, fallos de dependencias e intentos de acceso entre organizaciones. Conserva la configuración desplegada junto a los resultados.
En servicios con escalado automático, ajusta concurrencia según trabajo medido por solicitud y límites de dependencias. La documentación de concurrencia de Cloud Run describe el ajuste por instancia; ese ajuste no demuestra por sí solo capacidad de extremo a extremo.
Qué pedirle al ingeniero
Pide un diseño de permisos, una política ante fallos, un enfoque de evaluación y un modelo de capacidad. Después pregunta qué partes construyó personalmente y qué resultados puedes revisar. Mi caso público en GCP documenta ingeniería de evaluación para un sistema que atiende una población de más de 700,000 estudiantes; no afirma esa cantidad de usuarios simultáneos. El caso de plataforma de datos documenta otra parte: integrar datos corporativos y su capa de aplicación.
La señal útil al contratar es que esos límites y contribuciones sean suficientemente claros para investigarlos. Las fuentes siguientes permiten que una persona o un agente empiece esa revisión.