Les Concepts

Avant de plonger dans les détails, commençons par définir quelques concepts clés (par ordre alphabétique).

Agent IA

Un agent d'intelligence artificielle (IA) est un programme logiciel conçu pour effectuer des tâches de manière autonome, sans intervention humaine directe.

Les agents IA peuvent interagir avec leur environnement, collecter des informations et prendre des mesures pour atteindre des objectifs spécifiques. Ils sont spécialisés pour diverses finalités, notamment l'automatisation des tâches, la prise de décision, la résolution de problèmes et l'interaction en langage naturel, souvent avec la capacité de s'adapter ou de s'améliorer au fil du temps.

Source(s) :
(https://startup-house.com/glossary/ai-agent-definition)

IA Générative

L'IA générative est une branche de l'intelligence artificielle qui se concentre sur la construction de modèles capables de créer de nouveaux contenus en apprenant des modèles à partir de données d'entraînement. Ce contenu peut inclure du texte, des images, de l'audio ou d'autres formes de données.

En termes probabilistes, l'IA générative vise à apprendre la distribution de probabilité p(x) sur un ensemble de données X, représentant la probabilité d'observer un point de données spécifique x. L'objectif ultime est de générer de nouveaux échantillons qui s'alignent sur cette distribution apprise. Les modèles génératifs tentent de capturer la structure sous-jacente des données en estimant ces probabilités.

En revanche, les modèles discriminatifs se concentrent sur l'estimation de la probabilité d'une étiquette y étant donné une observation x, ou p(y|x).

En combinant les deux concepts, les modèles génératifs conditionnels cherchent à modéliser la probabilité conditionnelle d'observer x étant donné une étiquette y, c'est-à-dire p(x|y).

Source(s) :
David Foster. Generative Deep Learning, 2nd Edition. O'Reilly Media, 2023

LLM

Un modèle de langage de grande taille (LLM) est un type d'intelligence artificielle capable de reconnaître et de générer du texte, entre autres tâches. Les LLM sont entraînés sur de vastes ensembles de données, souvent composés de milliards de mots, et sont construits à l'aide de réseaux de neurones, en particulier des modèles de transformateurs.

Une définition plus technique décrit un LLM comme un réseau de neurones avec des milliards de paramètres, entraîné sur des quantités massives de texte non étiqueté en utilisant des techniques d'apprentissage auto-supervisé.

Source(s) :
Cloudflare
Graphable

L'article A Comprehensive Overview of Large Language Models propose une exploration détaillée des LLM, en se concentrant sur leur architecture, en particulier les modèles de transformateurs et les mécanismes d'attention. Il couvre des concepts clés tels que la tokenisation, l'encodage positionnel et l'entraînement distribué. Vous pouvez accéder à l'article complet ici :

https://ar5iv.org/2307.06435

RAG

La génération augmentée par récupération (RAG) est une architecture d'IA qui améliore les modèles de langage de grande taille (LLM) en intégrant des informations externes pour améliorer la précision et la pertinence de leurs sorties. Elle récupère des données pertinentes à partir de sources telles que des bases de données ou des documents, en les utilisant pour fournir un contexte supplémentaire au modèle. Ces informations récupérées sont combinées avec la requête originale dans l'invite, permettant au modèle de générer des réponses basées sur des connaissances externes.

Source(s) :
Advanced RAG Techniques: an Illustrated Overview

Vous avez apprécié cet article ? Vous l'avez trouvé utile ? N'hésitez pas à laisser un commentaire ci-dessous pour partager vos réflexions ou poser des questions. Un compte GitHub est requis pour participer à la discussion.