LongRAG : Un paradigme de génération augmentée par la récupération à double perspective pour le question-réponse en contexte long

L'article présente LongRAG, une nouvelle approche conçue pour améliorer les performances des systèmes de génération augmentée par la récupération (RAG) dans le domaine du question-réponse en contexte long (LCQA). Le LCQA implique un raisonnement sur des documents longs pour fournir des réponses précises, une tâche pour laquelle les modèles de langage de grande taille (LLM) existants rencontrent souvent des difficultés en raison du problème de "perte au milieu". LongRAG vise à résoudre ce problème en améliorant la compréhension des informations globales et des détails factuels dans des contextes longs.

Introduction

Approche à double perspective

LongRAG utilise une stratégie à double perspective pour améliorer la compréhension des connaissances complexes en contexte long. Cela inclut à la fois les informations globales et les détails factuels spécifiques, abordant ainsi les limites des systèmes RAG existants.

Composants plug and play

Le système est conçu avec quatre composants plug and play : un récupérateur hybride, un extracteur d'informations augmenté par LLM, un filtre guidé par CoT et un générateur augmenté par LLM. Ces composants travaillent ensemble pour affiner les informations globales et la structure contextuelle entre les segments, tout en améliorant la densité des preuves.

Performance supérieure

Des expériences approfondies sur trois ensembles de données multi-sauts démontrent que LongRAG surpasse significativement les LLM en contexte long (de 6,94 %), les systèmes RAG avancés (de 6,16 %) et le RAG Vanilla (de 17,25 %).

Pipeline de réglage fin automatisé

L'article présente un nouveau pipeline automatisé de données d'instructions pour construire des ensembles de données de haute qualité pour le réglage fin. Ce pipeline améliore les capacités de "suivi des instructions" du système et facilite sa transférabilité à d'autres domaines.

Conclusion

LongRAG représente une avancée significative dans le domaine du LCQA en abordant les limites des systèmes RAG actuels. Son approche à double perspective et ses composants plug and play lui permettent d'exploiter efficacement les informations globales et d'identifier les détails factuels, conduisant à une performance supérieure. Le pipeline de réglage fin automatisé renforce encore sa robustesse et sa transférabilité, en faisant un outil polyvalent pour divers domaines.

Source(s) :

LongRAG A Dual Perspective Retrieval Augmented Generation Paradigm for Long Context Question Answering