Die Konzepte

Bevor wir ins Detail gehen, lassen Sie uns zunächst einige Schlüsselkonzepte (in alphabetischer Reihenfolge) definieren.

AI Agent

Ein Artificial Intelligence (AI) Agent ist ein Softwareprogramm, das entwickelt wurde, um Aufgaben autonom ohne direkte menschliche Intervention auszuführen.

AI Agents können mit ihrer Umgebung interagieren, Informationen sammeln und Maßnahmen ergreifen, um bestimmte Ziele zu erreichen. Sie sind für verschiedene Zwecke spezialisiert, darunter Task-Automatisierung, Entscheidungsfindung, Problemlösung und natürliche Sprachinteraktion, oft mit der Fähigkeit, sich im Laufe der Zeit anzupassen oder zu verbessern.

Quelle(n):
(https://startup-house.com/glossary/ai-agent-definition)

Generative AI

Generative AI ist ein Zweig der künstlichen Intelligenz, der sich auf den Aufbau von Modellen konzentriert, die neue Inhalte durch das Lernen von Mustern aus Trainingsdaten erstellen können. Diese Inhalte können Text, Bilder, Audio oder andere Formen von Daten umfassen.

In probabilistischer Hinsicht zielt Generative AI darauf ab, die Wahrscheinlichkeitsverteilung p(x) über einen Datensatz X zu lernen, die die Wahrscheinlichkeit darstellt, einen bestimmten Datenpunkt x zu beobachten. Das ultimative Ziel ist es, neue Samples zu generieren, die mit dieser gelernten Verteilung übereinstimmen. Generative Modelle versuchen, die zugrunde liegende Struktur der Daten zu erfassen, indem sie diese Wahrscheinlichkeiten schätzen.

Im Gegensatz dazu konzentrieren sich diskriminative Modelle darauf, die Wahrscheinlichkeit eines Labels y bei einer Beobachtung x zu schätzen, also p(y|x).

Beide Konzepte verbindend, versuchen konditionale generative Modelle, die bedingte Wahrscheinlichkeit des Beobachtens von x bei einem Label y zu modellieren, d.h. p(x|y).

Quelle(n):
David Foster. Generative Deep Learning, 2nd Edition. O'Reilly Media, 2023

LLM

Ein Large Language Model (LLM) ist eine Art von künstlicher Intelligenz, die Text erkennen und generieren kann, neben anderen Aufgaben. LLMs werden auf großen Datensätzen trainiert, die oft aus Milliarden von Wörtern bestehen, und basieren auf neuronalen Netzwerken, insbesondere Transformer-Modellen.

Eine technischere Definition beschreibt ein LLM als ein neuronales Netzwerk mit Milliarden von Parametern, das auf riesigen Mengen von unmarkiertem Text mit selbstüberwachten Lerntechniken trainiert wird.

Quelle(n):
Cloudflare
Graphable

Das Papier A Comprehensive Overview of Large Language Models bietet eine detaillierte Untersuchung von LLMs, wobei der Schwerpunkt auf ihrer Architektur liegt, insbesondere auf Transformer-Modellen und Aufmerksamkeitsmechanismen. Es behandelt Schlüsselkonzepte wie Tokenisierung, Positionskodierung und verteiltes Training. Sie können das vollständige Papier hier einsehen:

https://ar5iv.org/2307.06435

RAG

Retrieval-Augmented Generation (RAG) ist eine AI-Architektur, die Large Language Models (LLMs) verbessert, indem sie externe Informationen einbezieht, um die Genauigkeit und Relevanz ihrer Ausgaben zu erhöhen. Es ruft relevante Daten aus Quellen wie Datenbanken oder Dokumenten ab und verwendet diese, um zusätzlichen Kontext für das Modell bereitzustellen. Diese abgerufenen Informationen werden mit der ursprünglichen Abfrage im Prompt kombiniert, wodurch das Modell in der Lage ist, Antworten zu generieren, die auf externem Wissen basieren.

Quelle(n):
Advanced RAG Techniques: an Illustrated Overview

Hat Ihnen dieser Beitrag gefallen? Fanden Sie ihn hilfreich? Hinterlassen Sie gerne einen Kommentar unten, um Ihre Gedanken mitzuteilen oder Fragen zu stellen. Ein GitHub-Konto ist erforderlich, um an der Diskussion teilzunehmen.