RAG y plataformas de datos para empresas

Construyo la recuperación que le lleva el conocimiento de una empresa a un modelo de lenguaje, y la plataforma de datos que va debajo: migraciones, modelos, puentes de sincronización y analítica. Es para equipos cuyo asistente responde con el documento equivocado, o cuyos datos todavía no tienen una forma que un modelo, o una persona, pueda aprovechar.

RAG, generación aumentada por recuperación, quiere decir que un modelo responde con documentos o registros que se buscan en el momento de la pregunta, y no con lo que memorizó al entrenarse. La recuperación decide la respuesta: un modelo que lee el archivo equivocado responde con toda seguridad a partir de él. Una empresa necesita este trabajo cuando su conocimiento está repartido entre documentos, bases de datos y sistemas de negocio, y cuando una respuesta sacada de la fuente equivocada cuesta más que no responder.

Qué construyo

  • Recuperación híbrida. Búsqueda vectorial y búsqueda de texto completo sobre el mismo corpus, combinadas en la base de datos. En LeanManufacturing.mx es una sola función SQL sobre Neon Postgres con pgvector, debajo de un widget que responde con la documentación publicada. Los embeddings son opcionales: sin ellos la búsqueda cae al índice léxico.
  • Recuperación para agentes. Cómo localiza un agente un documento: un buscador, un índice curado o las dos cosas, elegidas midiendo cuál llega al archivo correcto.
  • Migraciones, modelos y analítica. De colecciones en un almacén de documentos a un esquema relacional con llaves y restricciones, modelos dimensionales que conservan el historial y los tableros que los leen.
  • Puentes de sincronización que guardan lo que mueven. Integraciones entre sistemas de negocio con almacenamiento persistente, detección de duplicados y recuperación automática de errores.

Dónde fallan las respuestas: en la recuperación o en los datos de abajo

  • El asistente redacta una respuesta fluida y la saca del documento equivocado.
  • Los registros del mismo cliente están en sistemas separados, sin una llave en común.
  • Una sincronización mueve datos entre sistemas y luego los borra, así que no queda historial.
  • Duplicados, formatos mezclados y fechas de relleno le llegan al modelo como si fueran hechos.

La primera es una falla de recuperación, y se puede medir. Un diseño común le da al agente un índice escrito a mano que resume cada archivo y le dice cuál abrir. En un estudio preregistrado sobre un corpus de documentos en prosa, un agente con ese índice como único localizador llegó al documento correcto en cerca de la mitad de las preguntas, y un agente con búsqueda simple en cuatro de cada cinco. El agente del índice leyó más archivos y cayó más veces en el equivocado. Una réplica pública con corpus publicado apuntó a lo mismo. El resultado habla de ese tipo de índice en esos corpus, no de un índice usado junto con búsqueda, así que en tu corpus la respuesta se mide, no se supone.

Cómo se trabaja

  1. Un conjunto de preguntas congelado. Escribimos preguntas reales, cada una con el documento o el registro que la responde, y congelamos el conjunto antes de ajustar nada.
  2. Primero el alcance, luego la exactitud. Por cada pregunta registro si el sistema llegó a la fuente correcta, aparte de si la respuesta fue correcta. No encontrar el documento y leerlo mal son fallas distintas.
  3. La búsqueda más sencilla que pase. Primero búsqueda léxica, luego vectores donde encuentren más. Combinar métodos se prueba, no se supone: en un estudio complementario un mejor ordenamiento de resultados encontró muchos más documentos, y fusionar métodos empeoró los resultados.
  4. Los datos de abajo. Donde las fuentes no están listas las modelo: llaves y restricciones, deduplicación, historial y cargas incrementales que procesan solo lo que cambió.
  5. La operación. Reindexar tras un cambio de contenido es una sola solicitud autenticada. Los trabajos de sincronización llevan un modo de ensayo, interruptores que apagan un destino sin desplegar y reintentos con espera creciente.

Qué recibes

El esquema y sus migraciones, los trabajos de carga y de sincronización, el índice y la función de recuperación, el conjunto de preguntas con sus resultados y el tablero o el asistente construido encima, todo en tu base de datos y tus cuentas de nube.

Qué no incluye

No prometo que una base de datos vectorial arregle las respuestas equivocadas, y no agrego un índice, una capa de resúmenes o un segundo método de búsqueda sin una medición que muestre que ayuda. La recuperación no repara datos que están mal en el origen: los duplicados y los valores de relleno se atienden primero.

Dónde está la evidencia

Para un negocio de la industria de administración de garantías construí el pipeline que migra y sincroniza datos de MongoDB a PostgreSQL, el esquema relacional y el tablero de analítica encima. Convertí un puente de sincronización heredado entre PropertyWare y ServiceFusion en un almacén persistente con modelo dimensional e historial completo, mientras el sistema seguía en producción. LeanManufacturing.mx muestra recuperación híbrida en un sitio público. El estudio de recuperación está publicado con su corpus, sus preguntas, su harness y su adjudicador.

Trabajo y evidencia

Enterprise analytics platform (se abre en una pestaña nueva)

Mi contribución: Trabajo en la migración desde MongoDB, el modelo de datos y la aplicación analítica descritos en el caso.

Qué respalda: Experiencia integrando datos corporativos y construyendo su capa de aplicación.

Qué no demuestra: Los volúmenes y tiempos reportados son afirmaciones del caso; no constituyen una prueba de carga de agentes.

Fuente revisada:

Reading More, Finding Less (se abre en una pestaña nueva)

Mi contribución: Autor de un estudio preregistrado y una réplica pública sobre recuperación de información por agentes.

Qué respalda: Metodología de evaluación con corpus publicado, preguntas congeladas, harness y adjudicador.

Qué no demuestra: Los resultados corresponden al corpus y las políticas estudiadas, no a todos los sistemas RAG o de agentes.

Fuente revisada:

Preguntas frecuentes

¿Qué es RAG y cuándo lo necesita una empresa?

RAG quiere decir que el modelo responde con documentos o registros que se recuperan en el momento de la pregunta. Una empresa lo necesita cuando su asistente debe responder con sus propios manuales, políticas, catálogos o registros, y cuando una respuesta sacada de la fuente equivocada tiene un costo.

¿Necesitamos una base de datos vectorial para hacer RAG?

No siempre. En LeanManufacturing.mx los vectores viven en Postgres con pgvector, junto a un índice de texto completo, y la búsqueda sigue funcionando solo con el índice léxico. En mi investigación sobre recuperación, la búsqueda simple sobre archivos le ganó a un índice escrito a mano. Empiezo por la búsqueda más sencilla y agrego vectores cuando una medición muestra que encuentran más.

¿Por qué nuestro asistente de IA responde con el documento equivocado?

Casi siempre porque la recuperación lo mandó ahí. En un estudio que hice, un agente guiado por un índice escrito a mano había leído un archivo equivocado en 43 de sus 47 respuestas incorrectas, y cuando sí llegaba al archivo correcto acertaba la mayoría de las veces. El arreglo está en cómo se encuentran los documentos, y eso es lo primero que mido.

¿Tomas proyectos de datos y de RAG para empresas de México y de Estados Unidos?

Sí. Trabajo en remoto desde Monterrey con equipos de los dos países, en español y en inglés, por contrato o en un puesto senior. La base de datos, los pipelines y el índice operan en tus cuentas.

¿Puedes ordenar nuestros datos antes de construir el asistente?

Sí, y muchas veces ese es el primer trabajo. He migrado almacenes de documentos a modelos relacionales, le he puesto deduplicación e historial a una sincronización entre sistemas de negocio y he construido la analítica encima. Un asistente montado sobre datos poco confiables repite sus errores con toda seguridad.

Preguntas relacionadas

Disponible para puestos senior de ingeniería de IA y proyectos por contrato, en remoto para Estados Unidos, México y Latinoamérica.