Dos etapas. La recuperación selecciona los fragmentos del corpus relevantes para la pregunta, normalmente combinando similitud vectorial con búsqueda por palabras clave y filtros de metadatos. La generación pasa esos fragmentos al modelo junto con la pregunta y la instrucción de responder a partir de ellos.
Qué se gana
La respuesta queda anclada en un corpus que controlas, así que puede citar el documento y la página de origen. Actualizar lo que el sistema sabe consiste en actualizar documentos, no en reentrenar pesos, que es la diferencia entre una tarde y un proyecto. Y el control de acceso se queda donde le corresponde: si la capa de recuperación filtra por permisos, a un usuario no se le puede responder con un documento que no tiene derecho a leer.
Dónde se rompe
Si la recuperación no encuentra el pasaje correcto, el modelo responde con sus propios parámetros y la respuesta equivocada suena exactamente igual de segura que la buena. Eso hace que la calidad de la recuperación, la fragmentación y los metadatos pesen más que la elección del modelo, y por eso la recuperación hay que evaluarla aparte, con su propia métrica de cobertura, antes de medir la calidad del texto final.
Dónde lo usa BeAI
AI Portal construye una base de conocimiento separada por proyecto. BidEval abre un chat sobre los documentos de licitación que acaba de procesar. MyAISquads recupera del histórico de tickets y de la documentación interna antes de proponer una resolución.