LongRAG: Un paradigma de generación aumentada por recuperación de doble perspectiva para preguntas y respuestas en contextos largos

El artículo presenta LongRAG, un enfoque novedoso diseñado para mejorar el rendimiento de los sistemas de Generación Aumentada por Recuperación (RAG) en Preguntas y Respuestas en Contextos Largos (LCQA). LCQA implica razonar sobre documentos extensos para proporcionar respuestas precisas, una tarea en la que los Modelos de Lenguaje Grandes (LLM) existentes a menudo tienen dificultades debido al problema de "perderse en el medio". LongRAG tiene como objetivo abordar esto mejorando la comprensión tanto de la información global como de los detalles factuales dentro de contextos largos.

Introducción

El artículo presenta LongRAG, un enfoque novedoso diseñado para mejorar el rendimiento de los sistemas de Generación Aumentada por Recuperación (RAG) en Preguntas y Respuestas en Contextos Largos (LCQA). LCQA implica razonar sobre documentos extensos para proporcionar respuestas precisas, una tarea en la que los Modelos de Lenguaje Grandes (LLM) existentes a menudo tienen dificultades debido al problema de "perderse en el medio". LongRAG tiene como objetivo abordar esto mejorando la comprensión tanto de la información global como de los detalles factuales dentro de contextos largos.

Enfoque de doble perspectiva

LongRAG emplea una estrategia de doble perspectiva para mejorar la comprensión del conocimiento complejo en contextos largos. Esto incluye tanto la información global como los detalles factuales específicos, abordando las limitaciones de los sistemas RAG existentes.

Componentes plug and play

El sistema está diseñado con cuatro componentes plug and play: un recuperador híbrido, un extractor de información aumentado por LLM, un filtro guiado por CoT y un generador aumentado por LLM. Estos componentes trabajan juntos para refinar la información global y la estructura contextual entre fragmentos y mejorar la densidad de evidencia.

Rendimiento superior

Experimentos extensos en tres conjuntos de datos de múltiples saltos demuestran que LongRAG supera significativamente a los LLM de contexto largo (en un 6.94%), a los sistemas RAG avanzados (en un 6.16%) y a Vanilla RAG (en un 17.25%).

Tubería de ajuste fino automatizada

El artículo presenta una tubería de datos de instrucción automatizada novedosa para construir conjuntos de datos de alta calidad para el ajuste fino. Esta tubería mejora las capacidades de "seguimiento de instrucciones" del sistema y facilita su transferibilidad a otros dominios.

Conclusión

LongRAG representa un avance significativo en el campo de LCQA al abordar las limitaciones de los sistemas RAG actuales. Su enfoque de doble perspectiva y componentes plug and play le permiten extraer eficazmente información global e identificar detalles factuales, lo que lleva a un rendimiento superior. La tubería de ajuste fino automatizada mejora aún más su robustez y transferibilidad, convirtiéndolo en una herramienta versátil para diversos dominios.

Fuente(s):

• LongRAG A Dual Perspective Retrieval Augmented Generation Paradigm for Long Context Question Answering