¿Qué es un juez LLM?

Un juez LLM es un segundo modelo de lenguaje que lee una conversación, junto con las expectativas escritas para ella, y emite un veredicto. Sirve solo después de calibrarlo: sus veredictos se comparan con etiquetas puestas por personas hasta que coinciden.

Cómo funciona

El juez recibe la transcripción de una conversación, las expectativas del caso de prueba y una rúbrica. La rúbrica es la instrucción escrita que dice qué es una buena respuesta. Con eso emite un veredicto por cada turno que se le pide revisar.

La confianza no viene incluida. Se gana con la calibración. Alguien califica a mano un conjunto de conversaciones y el juez califica el mismo conjunto. Se lee cada desacuerdo y se decide quién se equivocó, porque a veces la etiqueta humana es la que está mal. Después se corrige la rúbrica, no el modelo, hasta que juez y persona coinciden. La rúbrica vive en control de versiones junto a las pruebas, así que cambiar lo que significa "bien" pasa por revisión como cualquier cambio de código.

Hay otras dos reglas para que el veredicto sea estable. Al juez se le muestra el estado del caso, incluida su fecha simulada. Y cada comprobación juzgada se corre varias veces y gana la mayoría, para que una muestra con mala suerte no decida una versión.

Dónde aparece en el trabajo real

Calibré el juez de los agentes de un grupo de educación superior que atiende a más de 700,000 estudiantes. De tres fallas aprendí más que de todo lo demás. El juez razonaba con el reloj real mientras los casos fijaban su propia fecha, y por eso reprobaba respuestas correctas sobre fechas límite. En una ronda reportó caracteres de formato que no estaban en la transcripción. Y un mismo veredicto podía cambiar de una corrida a otra. Los arreglos fueron decirle al juez la fecha del caso, pasar a código todo lo que el código puede comprobar y votar.

Qué no es

Un juez no sustituye a las aserciones: el formato, los importes exactos, las frases obligatorias y si se llamó una herramienta se comprueban con código normal, porque el código no alucina. Tampoco es una calificación para ver en una gráfica. Su propósito es que un "no" signifique algo.

Cuándo lo necesitas

Lo necesitas cuando parte de lo que hace correcta una respuesta requiere interpretación: si atendió la pregunta, si acertó en el fondo, si el tono fue el adecuado. Si toda expectativa cabe en una comparación de texto, basta el código. Si el veredicto va a detener una versión, planea primero la calibración. Un juez sin calibrar reprueba cambios buenos, la gente lo vuelve a correr hasta que pasa y la compuerta deja de proteger. Además, la calibración nunca termina. Converge, conforme cada falla nueva se vuelve un ejemplo etiquetado o una comprobación en código.

Trabajo y evidencia

Evaluation gates for a multi-agent education system (se abre en una pestaña nueva)

Mi contribución: Construcción del harness de evaluación, calibración del juez LLM, aislamiento de casos y controles por ambiente.

Qué respalda: El caso público describe casos de referencia como código, un juez LLM calibrado y el harness de evaluación que los ejecuta, sobre agentes en Google Cloud.

Qué no demuestra: La cifra de más de 700,000 estudiantes describe la población atendida por el sistema. No mide usuarios simultáneos, solicitudes por segundo ni autoría individual de toda la plataforma. El código y los datos del cliente son privados.

Fuente revisada:

Preguntas frecuentes

¿Un juez LLM puede sustituir la revisión humana?

No. El juez se calibra contra etiquetas que escribieron personas, y cada capacidad nueva del agente pide ejemplos etiquetados nuevos o comprobaciones nuevas en código. En mi trabajo el equipo humano de QA siguió probando el mismo comportamiento junto a la evaluación automática. El juez vuelve repetible el veredicto de rutina, y qué es una buena respuesta lo siguen decidiendo las personas.

¿Cómo se calibra un juez LLM?

Se califica a mano un conjunto de conversaciones, se corre el juez sobre el mismo conjunto y se lee cada desacuerdo. En cada uno se decide quién se equivocó y luego se corrige la rúbrica escrita hasta que juez y persona coinciden. Conviene contar por separado las aprobaciones y los rechazos incorrectos, y guardar las versiones del modelo y de la rúbrica para poder rastrear un cambio en los resultados.

¿Por qué un juez LLM da veredictos distintos para la misma respuesta?

Porque el juez es un modelo de lenguaje y muestrea. Correrlo varias veces y quedarse con la mayoría reduce esa variación. Votar no arregla una rúbrica que se equivoca de manera sistemática. Eso solo lo arregla la calibración.

¿Qué no debe calificar un juez LLM?

Nada que el código pueda comprobar: reglas de formato, números exactos, si se llamó una herramienta, si aparece una frase obligatoria. En una ronda de calibración mi juez reportó un defecto de formato que no estaba en la transcripción. Esas comprobaciones pasaron a aserciones normales y el juez se quedó solo con las preguntas que requieren criterio.

Disponible para puestos senior de ingeniería de IA y proyectos por contrato, en remoto para Estados Unidos, México y Latinoamérica.