Evaluación de LLM y agentes de IA para empresas

Construyo la evaluación que decide si un cambio en un agente de IA o en una función con LLM puede salir: casos escritos como código, comprobaciones en código, un juez calibrado y una compuerta en el pipeline. Es para equipos que ya tienen un modelo en producción, o cerca, y no pueden decir si el último cambio lo mejoró o lo empeoró.

La evaluación de LLM es el conjunto de pruebas que convierte un "las respuestas se ven bien" en un veredicto sobre el que un pipeline puede actuar. En un agente, lo que se prueba es una conversación con herramientas y estado, donde la misma entrada puede dar muchas respuestas aceptables y muchas sutilmente equivocadas. Una empresa necesita este trabajo cuando los cambios de prompts, herramientas o modelos salen porque unas cuantas conversaciones se leyeron bien, y nadie puede demostrar que el último cambio no rompió algo tres turnos adentro de una conversación.

Qué construyo

  • Casos de referencia escritos como código. Escenarios guionados con su estado inicial, los turnos del usuario, las operaciones esperadas y los resultados que no se aceptan, versionados junto al código que prueban.
  • Comprobaciones deterministas. Las llamadas a herramientas, los campos obligatorios, los importes exactos y las operaciones prohibidas los revisa código común. Un juez nunca califica lo que una comparación de texto puede decidir.
  • Un juez calibrado. Un segundo modelo califica solo lo que pide criterio. Su rúbrica se corrige contra turnos etiquetados a mano, y cada comprobación juzgada se decide por mayoría entre varias corridas.
  • Un mundo sellado para cada caso. Cada caso corre como su propio usuario sintético, con su estado sembrado y su fecha, y el juez también ve ese estado inicial.
  • Compuertas por ambiente. Un grupo de pruebas de humo en cada merge de integración y la regresión completa antes de promover.

Señales de que todavía no se puede confiar en una evaluación

  • El mismo cambio pasa un día y falla al siguiente, y la gente lo vuelve a correr hasta que sale en verde.
  • Todos los casos corren con el mismo usuario de prueba, así que el porcentaje de aprobación cambia con el orden de los casos.
  • Un modelo califica lo que el código podría revisar: un formato, una cifra, si se llamó una herramienta.
  • Nadie ha comparado los veredictos del juez con los de una persona, caso por caso.

Cada señal tiene un arreglo conocido, y el orden importa. El aislamiento va antes que las corridas en paralelo: una batería cuyos casos comparten estado se vuelve inestable cuando corren al mismo tiempo. La calibración va antes que la compuerta: una compuerta sobre un juez que nadie revisó le enseña al equipo a dejar de leer sus fallas.

Cómo se trabaja

  1. Leer cómo sale hoy un cambio. Reviso el camino de un pull request a producción y las fallas que ya costaron algo. De ahí salen los primeros casos.
  2. Escribir los casos. Tareas comunes, límites de permisos, solicitudes ambiguas y fallas de una dependencia. Cada caso declara su propio mundo: la fecha, el historial del usuario, el catálogo que usa el agente.
  3. Separar las expectativas. Lo que el código puede decidir va al código, y lo que pide interpretación va al juez. Mezclarlas es el origen de casi todas las baterías inestables.
  4. Calibrar al juez. Etiquetamos a mano un conjunto de conversaciones, corremos al juez sobre ellas y leemos cada desacuerdo. A veces la etiqueta humana es la equivocada. La rúbrica corregida vive en control de versiones junto a las pruebas.
  5. Romper al agente a propósito. Una llamada prohibida, un precio incorrecto, evidencia que falta. La batería debe fallar.
  6. Conectar la compuerta. La batería corre en el pipeline con la profundidad que le toca a cada ambiente, y cada resultado registra qué candidato se evaluó.

Qué recibes

Los casos, el harness, la rúbrica con sus ejemplos etiquetados y el paso del pipeline, en tu repositorio, con notas para agregar un caso y para volver a calibrar. La calibración no se termina. Converge.

Qué no incluye

No vendo una calificación. Un porcentaje de aprobación que sale de una batería con estado compartido, o de un juez que nadie revisó, mide a la batería. La evaluación tampoco vuelve determinista a un modelo. Vuelve determinista lo que lo rodea, para que un no detenga la versión.

Dónde está la evidencia

Para un grupo de educación superior que atiende a más de 700,000 estudiantes construí la maquinaria que decide si un cambio en sus agentes de producción puede salir: los casos, el juez calibrado, los usuarios aislados y las compuertas de cada ambiente. La compuerta reproduce 138 casos de referencia antes de cada versión. Ese trabajo sacó fallas que vale la pena leer: un juez que razonaba con el reloj real y reprobaba respuestas correctas sobre fechas límite, y un juez que reportó un defecto de formato que no estaba en la transcripción. Mi investigación aplica la misma disciplina en público: un estudio preregistrado sobre cómo encuentran documentos los agentes, publicado con su harness.

Trabajo y evidencia

Evaluation gates for a multi-agent education system (se abre en una pestaña nueva)

Mi contribución: Construcción del harness de evaluación, calibración del juez LLM, aislamiento de casos y controles por ambiente.

Qué respalda: El caso público describe casos de referencia como código, un juez LLM calibrado y el harness de evaluación que los ejecuta, sobre agentes en Google Cloud.

Qué no demuestra: La cifra de más de 700,000 estudiantes describe la población atendida por el sistema. No mide usuarios simultáneos, solicitudes por segundo ni autoría individual de toda la plataforma. El código y los datos del cliente son privados.

Fuente revisada:

Reading More, Finding Less (se abre en una pestaña nueva)

Mi contribución: Autor de un estudio preregistrado y una réplica pública sobre recuperación de información por agentes.

Qué respalda: Metodología de evaluación con corpus publicado, preguntas congeladas, harness y adjudicador.

Qué no demuestra: Los resultados corresponden al corpus y las políticas estudiadas, no a todos los sistemas RAG o de agentes.

Fuente revisada:

Preguntas frecuentes

¿Cómo se prueba un agente de IA antes de ponerlo en producción?

Con casos guionados que fijan el estado inicial, los turnos del usuario y las operaciones esperadas, revisados de dos maneras: código para todo lo exacto y un modelo juez calibrado para lo que pide interpretación. La batería corre en el pipeline, y un veredicto negativo detiene el merge.

¿Se puede confiar en un LLM para calificar a otro LLM?

Solo después de calibrarlo. Comparo al juez con etiquetas puestas por personas, caso por caso, y corrijo la rúbrica hasta que coinciden. Todo lo que el código puede comprobar se le quita al juez, y lo que sí juzga se decide por mayoría entre varias corridas, para que una muestra con mala suerte no cambie una versión.

Ya tenemos evals, ¿por qué pasan un día y fallan al siguiente?

Casi siempre por una de tres razones: los casos comparten estado por la memoria del agente, el juez razona con la fecha real y no con la fecha del caso, o una sola corrida del juez decide el veredicto. Correr la batería en otro orden muestra rápido la primera.

¿Trabajas con equipos de México y de Estados Unidos?

Sí. Trabajo en remoto desde Monterrey, en español y en inglés, por contrato o en un puesto senior. La evaluación vive en tu repositorio y en tu pipeline, así que el trabajo no pide que yo esté en tus oficinas.

¿Eres consultor de evaluación de LLM o la construyes tú?

La construyo. Soy ingeniero de IA senior y tomo trabajo por contrato: escribo los casos con tu equipo, construyo el harness y el juez, lo calibro y conecto la compuerta a tu pipeline.

Preguntas relacionadas

Disponible para puestos senior de ingeniería de IA y proyectos por contrato, en remoto para Estados Unidos, México y Latinoamérica.