Astute RAG : Surmonter l'augmentation de récupération imparfaite et les conflits de connaissances pour les grands modèles de langage

Cet article présente Astute RAG, une nouvelle technique de Génération Augmentée par Récupération (RAG) conçue pour améliorer la fiabilité des Grands Modèles de Langage (LLMs) en abordant les défis posés par la récupération imparfaite et les conflits de connaissances. La recherche, documentée dans "Astute RAG : Surmonter l'augmentation de récupération imparfaite et les conflits de connaissances pour les grands modèles de langage", soutient que les systèmes RAG actuels sont vulnérables aux inexactitudes provenant d'informations récupérées non pertinentes ou trompeuses, qui peuvent contredire les connaissances internes du LLM.

Points clés

Une analyse des scénarios de récupération dans le monde réel révèle que la récupération imparfaite est courante, entravant considérablement les performances de RAG. L'étude a utilisé Google Search avec des données web et a constaté qu'environ 70 % des passages récupérés ne contenaient pas de réponses directes, affectant la précision du LLM.
L'article identifie les "conflits de connaissances" entre les connaissances pré-entraînées d'un LLM et les informations externes récupérées comme un obstacle majeur. Ces conflits surviennent lorsque le LLM peine à concilier les divergences entre les sources.
Astute RAG est proposé comme solution. Cette méthode utilise de manière adaptative les connaissances internes du LLM, les intègre de manière itérative avec les informations récupérées tout en tenant compte de la fiabilité des sources, et finalise les réponses en se basant sur les informations les plus fiables.

Conclusion

Les résultats expérimentaux utilisant les modèles Gemini et Claude démontrent qu'Astute RAG surpasse les méthodes RAG existantes axées sur la robustesse. Fait important, il maintient des performances comparables, voire supérieures, à celles des LLMs sans RAG, même lorsque les informations récupérées sont totalement inutiles. Cette résilience est attribuée à sa capacité à résoudre efficacement les conflits de connaissances, conduisant à des sorties de LLM plus fiables.

Source(s) :

Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models