Astute RAG: Überwindung unvollständiger Retrieval-Augmentierung und Wissenskonflikte für Large Language Models

Dieses Papier stellt Astute RAG vor, eine neuartige Retrieval-Augmented Generation (RAG)-Technik, die darauf abzielt, die Zuverlässigkeit von Large Language Models (LLMs) zu verbessern, indem sie die Herausforderungen durch unvollständiges Retrieval und Wissenskonflikte adressiert. Die Forschung, dokumentiert in "Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models", argumentiert, dass aktuelle RAG-Systeme anfällig für Ungenauigkeiten sind, die durch irrelevante oder irreführende abgerufene Informationen verursacht werden, die dem internen Wissen des LLM widersprechen können.

Wichtige Punkte

• Eine Analyse von realen Retrieval-Szenarien zeigt, dass unvollständiges Retrieval häufig vorkommt und die RAG-Leistung erheblich beeinträchtigt. Die Studie verwendete Google Search mit Webdaten und stellte fest, dass etwa 70 % der abgerufenen Passagen keine direkten Antworten enthielten, was die Genauigkeit des LLM beeinträchtigte.
• Das Papier identifiziert "Wissenskonflikte" zwischen dem vortrainierten Wissen eines LLM und den abgerufenen externen Informationen als ein großes Hindernis. Diese Konflikte entstehen, wenn das LLM Schwierigkeiten hat, Diskrepanzen zwischen den Quellen zu lösen.
• Astute RAG wird als Lösung vorgeschlagen. Diese Methode nutzt adaptiv das interne Wissen des LLM, integriert es iterativ mit den abgerufenen Informationen unter Berücksichtigung der Zuverlässigkeit der Quelle und finalisiert die Antworten basierend auf den vertrauenswürdigsten Informationen.

Fazit

• Experimentelle Ergebnisse mit Gemini- und Claude-Modellen zeigen, dass Astute RAG bestehende Robustheits-fokussierte RAG-Methoden übertrifft. Wichtig ist, dass es eine Leistung beibehält, die mit LLMs ohne RAG vergleichbar ist oder diese sogar übertrifft, selbst wenn die abgerufenen Informationen völlig unbrauchbar sind. Diese Widerstandsfähigkeit wird auf die Fähigkeit zurückgeführt, Wissenskonflikte effektiv zu lösen, was zu zuverlässigeren LLM-Ausgaben führt.

Quelle(n):

• Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models