GenAI: Wie funktioniert das?

GenAI-Assistants, die allgemein sind, wie ChatGPT, Claude, Copilot etc., verwenden eine spezielle Art von Modell zur Verarbeitung natürlicher Sprache. Sie verwenden vortrainierte Sprachmodelle, die uns mit ihnen “sprechen” lassen. Im einfachsten Anwendungsfall „antworten“ sie uns auf unsere Fragen, indem sie Folgen von Wörtern, also Sätze, generieren, die wahrscheinlich auf die gestellte Frage passen. Die Bedeutung hinter den Begriffen spielt dabei keine Rolle. Es geht dabei nicht um die tatsächliche Bedeutung der Wörter, sondern um statistische Muster. Wir können uns Entstehung und Anwendung eines LLMs vereinfacht als einen Text-Generator oder Chatbot vorstellen:

Beim RAG-Workflow greift die KI nicht nur auf das Sprachmodell zu, sondern sie greift auch auf eine oder mehrere angebundene zusätzliche Wissensquellen (z.B. Webseiten oder eingespiesene Open Access Artikel) zurück. Dies ist der R-Schritt (R = retrieve = zurückgreifen). Er besteht aus

• Extraktion: Die Frage des Benutzers wird an die angebundene Wissensquelle (Wissensdatenbank) weitergegeben, meist in der Form von extrahierten Suchbegriffen, und
• Abruf: Die relevantesten Textstücke werden als Retrieval-Antwort dem Sprachmodell bereitgestellt.

Nun wird die Frage des Benutzers um diese Textstücke aus der Wissendatenbank ergänzt. Das ist der A-Schrit (A = augment = erweitern).

Zum Schluss kommt das Sprachmodell, bzw. der Text-Generator, zum Zug und generiert wie in der obigen Grafik beschrieben eine Antwort auf den ergänzten Prompt bzw. auf die erweiterte Frage. Das ist der G-Schritt (G = generate = generiert). Weil die Frage nach dem A-Schritt nun zusätzliche Informationen enthält, fällt die Antwort des Sprachmodells anders und hoffentlich besser aus.

Viele RAGs können in ihrer Antwort einen Quellenbezug beibehalten: Je nach Lösung können die verwendeten Quellen als Link oder Referenz angezeigt werden.

• Quellenbezug: Je nach Lösung können die verwendeten Quellen als Link oder Referenz angezeigt werden.

Einerseits um daran zu denken, dass LLM’s auf Wahrscheinlichkeiten beruhen. Vielleicht passt die Antwort gar nicht ganz genau zur Frage, oder etwas wurde statistisch generiert, das wahrscheinlich ist, aber trotzdem nicht existiert (“Halluzinationen”); andererseits, um im Auge zu behalten, dass eine Antwort nicht besser sein kann als die im RAG eingespiesenen Daten und Wissensquellen. Wenn ein AI Research Assistant nur auf Open Access Publikationen zurückgreifen kann, die es im Internet gefunden hat, dann wird seine Antwort nicht auf den wissenschaftlichen Texten beruhen, die die Verlage nur zahlenden Hochschul-Bibliotheken zugänglich machen.