Large-language-models

Cet article explore RAPTOR, une nouvelle approche des modèles de langage augmentés par la récupération qui construit une structure arborescente hiérarchique de documents par le biais de l'intégration (embedding), du regroupement (clustering) et du résumé récursifs. Cette méthode permet de récupérer des informations à différents niveaux d'abstraction, améliorant considérablement les performances sur les tâches complexes de questions-réponses impliquant de longs documents par rapport à la récupération traditionnelle de segments contigus.

Découvrez le guide définitif sur les modèles de langage à grande échelle (LLMs) avec le livre Large Language Models: A Deep Dive. Cette revue complète explore comment le livre relie la théorie de pointe en IA aux applications pratiques, offrant des perspectives inégalées sur les dernières avancées, les cas d'utilisation pratiques et les considérations éthiques dans le domaine des LLMs.

Découvrez comment QwQ-32B, un modèle de 32 milliards de paramètres, exploite l'apprentissage par renforcement pour atteindre des performances de pointe en raisonnement et en utilisation d'outils, rivalisant avec des modèles ayant un nombre de paramètres bien plus élevé.

Explorez comment l'apprentissage par renforcement et des modèles de langage large comme o3 d'OpenAI transforment la programmation compétitive, surpassant les systèmes spécialisés sans s'appuyer sur des stratégies élaborées à la main.

Cet article remet en question la sagesse conventionnelle consistant à mélanger différents modèles de langage de grande taille (LLMs) dans les méthodes d'ensemble. Il introduit Self-MoA, une nouvelle approche qui agrège les sorties uniquement du LLM le plus performant, et démontre sa supériorité par rapport au Mixture-of-Agents (MoA) standard dans divers benchmarks.