KI-Grundlagen für Website-Betreiber

Was ist Künstliche Intelligenz?

Der Begriff „Künstliche Intelligenz“, kurz KI, bezeichnet keine einzelne Technologie. Es ist vielmehr ein Sammelbegriff für unterschiedliche Modelle und technische Systeme, die aus Eingaben bestimmte Ausgaben erzeugen. Dabei kann es sich beispielsweise um Vorhersagen, Empfehlungen, Entscheidungen, Texte oder Bilder handeln.

Ein KI-System kann intelligent wirken, ohne seine Aufgabe in derselben Weise wie ein Mensch zu verstehen. Für seine funktionale Einordnung ist zunächst entscheidend, welche Eingaben es verarbeitet, welche Ausgaben es daraus erzeugt und welchem Zweck diese Ausgaben dienen. So können ein Sprachmodell, eine automatische Bilderkennung und eine Produktempfehlung als KI bezeichnet werden, obwohl sie verschiedene Aufgaben erfüllen und technisch unterschiedlich aufgebaut sind.

Fachliche und rechtliche Definitionen stellen meist die technische Funktionsweise in den Mittelpunkt. So beschreibt der EU AI Act ein KI-System als maschinengestütztes System, das aus erhaltenen Eingaben ableitet, wie es Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugt. Das National Institute of Standards and Technology (NIST) verwendet ebenfalls einen breiten Systembegriff und bezieht darunter Software, Hardware, Anwendungen und Werkzeuge ein, die ganz oder teilweise mit KI arbeiten.¹

Die Vorstellung von „der KI“ als monolithischem technischen Konstrukt ist deshalb irreführend. Tatsächlich können an einer sichtbaren Funktion mehrere Modelle, Datenquellen, Suchverfahren, Regeln, Benutzeroberflächen und Kontrollmechanismen beteiligt sein. Was der Nutzer als KI wahrnimmt, ist daher häufig die Benutzeroberfläche eines umfangreicheren KI-Systems.

KI-Modell, KI-System und KI-Anwendung

Für die weitere Einordnung unterscheiden wir zwischen Modell, System und Anwendung. Die Begriffe werden in der Praxis nicht immer einheitlich verwendet. Die folgende Abgrenzung hilft jedoch dabei, technische Aussagen genauer zuzuordnen:

• Ein KI-Modell ist eine technisch-logische Komponente, die Eingaben verarbeitet und daraus Ausgaben erzeugt. Das NIST beschreibt ein KI-Modell entsprechend als Bestandteil eines Informationssystems, das rechnerische, statistische oder auf maschinellem Lernen beruhende Verfahren verwendet.²
• Ein KI-System verbindet ein oder mehrere Modelle mit den weiteren Komponenten, die für ihren Einsatz benötigt werden. Dazu können Datenquellen, Regeln, Schnittstellen, Zugriffsrechte, Kontrollverfahren und eine Benutzeroberfläche gehören.
• Eine KI-Anwendung bezeichnet den konkreten Einsatzzweck des Systems, beispielsweise die Beantwortung von Suchanfragen, die Zuordnung von Kundenanfragen, die Vorhersage von Verkaufszahlen oder die Erzeugung von Videos.

Auch der EU AI Act trennt Modelle ausdrücklich von vollständigen KI-Systemen. Er stellt klar, dass KI-Modelle mit allgemeinem Verwendungszweck wesentliche Bestandteile eines KI-Systems sein können, für sich genommen aber noch kein KI-System bilden. Dafür müssen weitere Komponenten wie eine Benutzeroberfläche hinzukommen.³

Ein konkretes Beispiel für ein Modell ist GPT-5.1 („Generative Pre-trained Transformer“). OpenAI stellt es als Modell für Programmieraufgaben und mehrstufige Aufgabenbearbeitung bereit. Über eine Programmierschnittstelle kann es als Komponente in unterschiedliche Systeme eingebunden werden. Das Modell allein legt jedoch noch nicht fest, welche Daten es erhält, welche Funktionen ein Nutzer aufrufen darf oder wie seine Ausgaben kontrolliert werden. Diese Eigenschaften entstehen erst durch das vollständige System und dessen Anwendung. (OpenAI Docs: GPT-5.1)

Ein Beispiel für eine sichtbare KI-Anwendung sind die AI Overviews in der Google-Suche. Sie erstellen zu bestimmten Suchanfragen eine KI-generierte Übersicht mit zusammengefassten Informationen und weiterführenden Links. Der Nutzer verwendet damit eine konkrete Suchfunktion. Die eingesetzten Modelle sind wiederum nur Bestandteile des technischen Systems, das diese Funktion bereitstellt. Hier berühren sich KI und Suchmaschinenoptimierung am offensichtlichsten. (Google Search Help: AI Overviews)

Diese Unterscheidung ist für den weiteren Artikel wichtig: Eine Eigenschaft oder Schwäche eines Modells lässt sich nicht automatisch auf das vollständige System übertragen. Ebenso hängt die Qualität einer KI-Anwendung nicht allein vom Modell, sondern auch von den verwendeten Daten, den zusätzlichen Regeln und der Einbindung in den jeweiligen Arbeitsprozess ab.

Technische Ansätze der künstlichen Intelligenz

KI-Systeme beruhen nicht auf einem einheitlichen technischen Verfahren. Sie können entweder ausdrücklich formuliertes Wissen und feste Regeln verarbeiten oder Modelle einsetzen, die anhand von Daten entwickelt wurden. In vielen Anwendungen kommen beide Ansätze zusammen mit klassischer Software zum Einsatz. Damit sind Programme gemeint, deren Abläufe von Entwicklern unmittelbar festgelegt werden und die sich nicht durch Training verändern.

Die verschiedenen Begriffe bezeichnen keine gleichrangigen Entwicklungsstufen. Maschinelles Lernen ist ein Teilgebiet der KI. Deep Learning ist wiederum ein Teilgebiet des maschinellen Lernens. Foundation Models sind breit einsetzbare Modelle, die in der Regel mit Deep-Learning-Verfahren trainiert werden. Symbolische und lernende Verfahren können außerdem Bestandteile desselben KI-Systems sein.

Welcher Ansatz geeignet ist, hängt von der jeweiligen Aufgabe ab. Maßgeblich sind unter anderem die verfügbaren Daten, die erforderliche Nachvollziehbarkeit und die Folgen möglicher Fehler. Ein technisch komplexeres Modell ist daher nicht automatisch die bessere Lösung.

Symbolische KI und regelbasierte Systeme

Bei der symbolischen KI wird Wissen in Form von maschinenlesbaren Begriffen, Eigenschaften und Beziehungen dargestellt. Diese strukturierte Darstellung wird als Wissensrepräsentation bezeichnet. Mithilfe logischer Verarbeitungsverfahren können aus vorhandenen Informationen Schlussfolgerungen abgeleitet werden.

Regelbasierte Systeme sind eine Form der symbolischen KI. Sie bestehen aus einer Wissensbasis mit bekannten Fakten, einer Regelbasis mit festgelegten Bedingungen und einem Mechanismus, der passende Regeln anwendet.

Symbolische KI und regelbasierte Systeme sind daher nicht gleichbedeutend. Symbolische KI ist der Oberbegriff für die ausdrückliche Darstellung und logische Verarbeitung von Wissen. Regelbasierte Systeme setzen dieses Prinzip mithilfe festgelegter Regeln um. Nicht jede einzelne Wenn-dann-Bedingung in gewöhnlicher Software stellt deshalb ein KI-Verfahren dar.⁴

Historisch gesehen gehörte die symbolische KI seit den Anfängen der KI-Forschung in den 1950er-Jahren zu den vorherrschenden Ansätzen. In den 1970er- und 1980er-Jahren wurde sie insbesondere durch Expertensysteme praktisch eingesetzt. Ihre Vorteile liegen in der ausdrücklichen Darstellung von Wissen und der grundsätzlichen Nachvollziehbarkeit von Schlussfolgerungen. Für klar begrenzte Aufgaben mit stabilen Bedingungen benötigt sie außerdem keine umfangreichen Trainingsdaten.⁵

Die Grenzen dieser Technologie wurden sichtbar, sobald große und veränderliche Wissensbereiche abgebildet werden sollten. Das Erfassen von Expertenwissen, die Abstimmung zahlreicher Regeln und die laufende Pflege verursachten einen hohen Aufwand. Unbekannte oder mehrdeutige Fälle konnten zudem schnell zu unpassenden Ergebnissen führen. Diese Schwierigkeiten trugen dazu bei, dass die Erwartungen an Expertensysteme gegen Ende der 1980er-Jahre zurückgingen.

Maschinelles Lernen

Maschinelles Lernen (engl. Machine Learning) bezeichnet KI-Verfahren, bei denen ein Modell anhand von Daten für eine festgelegte Aufgabe entwickelt oder angepasst wird. Die Entwickler legen das Lernziel und das Lernverfahren fest, formulieren jedoch nicht sämtliche Regeln für die Zuordnung von Eingaben zu Ausgaben. Stattdessen ermittelt das Lernverfahren Muster in den Daten, die das Modell anschließend auf neue Eingaben anwenden soll.

Die für diese Anpassung verwendeten Daten werden als Trainingsdaten bezeichnet. Während des Trainings verändert das Lernverfahren die Parameter des Modells. Diese Parameter sind erlernte Zahlenwerte, die bestimmen, wie das Modell Merkmale einer Eingabe gewichtet und daraus eine Ausgabe berechnet. Das trainierte Modell ist somit das Ergebnis des Lernprozesses, während das Lernverfahren den Ablauf seiner Anpassung bezeichnet. Entsprechend beschreibt das NIST-Glossar maschinelles Lernen als „Die Entwicklung und Nutzung von Computersystemen, die sich an Daten anpassen und aus diesen lernen, um die Genauigkeit zu verbessern.“⁶

Für die automatische Zuordnung von Kundenanfragen könnte ein Unternehmen bereits bearbeitete Nachrichten verwenden. Jede Nachricht ist mit einer Kategorie wie „Rechnung“, „technisches Problem“, „Produktberatung“ oder „Beschwerde“ gekennzeichnet. Das Lernverfahren passt die Parameter des Modells so an, dass dieses statistische Zusammenhänge zwischen den Nachrichtentexten und den vorgegebenen Kategorien abbildet.

Dieses Vorgehen wird als überwachtes Lernen bezeichnet. Die erwarteten Ausgaben sind in den Trainingsdaten bereits als Kennzeichnungen vorhanden. Ein Klassifikationsmodell lernt auf dieser Grundlage, neue Eingaben einer der vorgegebenen Kategorien zuzuordnen.

Bei anderen Lernformen entstehen die Lernsignale auf andere Weise. Beim selbstüberwachten Lernen werden sie aus den Daten selbst gewonnen. Ein Sprachmodell kann beispielsweise lernen, fehlende oder nachfolgende Textbestandteile vorherzusagen, ohne dass jeder verwendete Text zuvor manuell einer Kategorie zugeordnet wurde.

Ein trainiertes Klassifikationsmodell kann anschließend auch neue Kundenanfragen einordnen. Dafür muss es nicht ausschließlich nach einzelnen festgelegten Wörtern suchen. Es kann statistische Zusammenhänge zwischen verschiedenen Formulierungen und einer Kategorie abbilden. So können „Betrag stimmt nicht“, „falsche Summe“ und „abweichender Rechnungswert“ jeweils auf eine Anfrage zum Thema Rechnung hinweisen.

Das Modell entwickelt dadurch jedoch nicht automatisch ein fachlich richtiges Verständnis. Seine Ergebnisse hängen von den Trainingsdaten, dem Lernverfahren und dem festgelegten Ziel ab. Falsche Zuordnungen, fehlende Fallgruppen oder systematische Verzerrungen in den Trainingsdaten können sich in den späteren Ausgaben fortsetzen.

Auch eine gute Leistung mit bekannten Testfällen garantiert nicht, dass das Modell unter veränderten Bedingungen gleich zuverlässig arbeitet. Wie Trainingsdaten, Testverfahren und die spätere Verarbeitung neuer Eingaben zusammenhängen, wird deshalb im folgenden Hauptabschnitt genauer behandelt.

Deep Learning und neuronale Netze

Deep Learning ist wiederum ein Teilgebiet des Machine Learning. Es verwendet künstliche neuronale Netze, die aus mehreren Schichten miteinander verbundener rechnerischer Einheiten bestehen. Die Bezeichnung „neuronal“ verweist auf die historische Anregung durch biologische Nervensysteme. Ein künstliches neuronales Netz ist jedoch kein technisches Abbild des menschlichen Gehirns.

Die Verbindungen zwischen den rechnerischen Einheiten werden durch Parameter gewichtet. Während des Trainings passt ein Lernverfahren diese Parameter so an, dass das Netz die vorgegebene Aufgabe möglichst gut erfüllt. Dadurch entstehen schrittweise rechnerische Darstellungen von Merkmalen und Zusammenhängen in den Eingabedaten.

In der Bildverarbeitung können frühe Schichten beispielsweise einfache Strukturen wie Kanten oder Farbwechsel erfassen. Spätere Schichten verarbeiten daraus zusammengesetzte Muster, die für die Erkennung eines Objekts relevant sein können. Bei Sprache entstehen numerische Darstellungen, mit denen das Modell Beziehungen zwischen Textbestandteilen verarbeitet. Wie diese Verarbeitung im Einzelnen abläuft, hängt vom Aufbau des Netzes und von seiner Aufgabe ab.

Ein wesentliches Merkmal von Deep Learning besteht darin, dass geeignete Darstellungen nicht vollständig von Entwicklern als feste Regeln vorgegeben werden müssen. Das Modell lernt sie während des Trainings aus den Daten. LeCun, Bengio und Hinton beschreiben Deep Learning entsprechend als Lernen von Datenrepräsentationen über mehrere Verarbeitungsschichten und Abstraktionsebenen.⁷. Für ihre grundlegenden konzeptionellen und technischen Beiträge zu tiefen neuronalen Netzen erhielten Yann LeCun, Yoshua Bengio und Geoffrey Hinton später gemeinsam den ACM A. M. Turing Award 2018.⁸

Deep Learning eignet sich insbesondere für umfangreiche und wenig strukturierte Daten wie Bilder, Audioaufnahmen und Texte. Je nach Aufgabe kann es jedoch große Datenmengen, erhebliche Rechenleistung und aufwendige Prüfverfahren erfordern. Zudem lassen sich die internen Berechnungen komplexer neuronaler Netze häufig nicht auf wenige leicht verständliche Fachregeln zurückführen.

Ein tiefes neuronales Netz ist deshalb nicht für jede Aufgabe die beste Lösung. Wenn Bedingungen eindeutig beschrieben werden können, kann eine feste Regel zuverlässiger und leichter nachvollziehbar sein. Für eng begrenzte Prognosen oder Klassifikationen kann wiederum ein kleineres spezialisiertes Modell ausreichen.

Foundation Models als breit einsetzbare Modellgrundlage

Viele Modelle des maschinellen Lernens werden für eine klar begrenzte Aufgabe entwickelt. Ein Modell erkennt beispielsweise bestimmte Objekte auf Bildern, ein anderes ordnet Texte vorgegebenen Kategorien zu und ein weiteres prognostiziert Verkaufszahlen. Ändert sich die Aufgabe grundlegend, muss häufig ein neues Modell entwickelt oder ein vorhandenes Modell gezielt angepasst werden.

Foundation Models verfolgen einen breiteren Ansatz. Sie werden auf umfangreichen und vielfältigen Daten trainiert und können anschließend als Grundlage für unterschiedliche Aufgaben dienen. Der Begriff wurde 2021 durch den Forschungsbericht „On the Opportunities and Risks of Foundation Models“ des Stanford Center for Research on Foundation Models geprägt. Der Bericht definiert Foundation Models als Modelle, die auf breiten Datenbeständen trainiert und für zahlreiche nachgelagerte Aufgaben angepasst werden können. Stanford CRFM: On the Opportunities and Risks of Foundation Models

Foundation Models beruhen nicht auf einem vollständig eigenständigen Lernverfahren. Sie verwenden in der Regel Deep Learning und häufig selbstüberwachtes Lernen. Charakteristisch sind vor allem ihre breite Datenbasis und ihre Anpassbarkeit. Ein solches Modell kann beispielsweise für Aufgaben in der Sprachverarbeitung, Bilderkennung oder Verarbeitung mehrerer Datenarten verwendet werden.

Die Anpassung kann durch Anweisungen, zusätzliche Trainingsschritte oder die Einbindung in ein aufgabenspezifisches KI-System erfolgen. Diese Möglichkeiten werden im folgenden Hauptabschnitt genauer voneinander abgegrenzt.

Foundation Models sind nicht automatisch mit generativer KI oder Large Language Models gleichzusetzen. Generative KI wird über die Erzeugung neuer Inhalte definiert. Large Language Models sind auf die Verarbeitung und Erzeugung von Sprache ausgerichtet. Ein Foundation Model kann zu einer dieser Gruppen gehören, der Begriff beschreibt aber zunächst seine breite Trainingsgrundlage und die Möglichkeit, es für unterschiedliche Aufgaben anzupassen.

Die breite Verwendbarkeit schafft Skalenvorteile, aber auch gemeinsame Abhängigkeiten. Wenn mehrere Systeme auf demselben Basismodell beruhen, können sich dessen Fehler und ungeeignete Eigenschaften auf unterschiedliche Anwendungen übertragen. Der Stanford-Bericht bezeichnet diese Vereinheitlichung auf einer gemeinsamen Modellgrundlage als Homogenisierung.

Standardisierung war schon immer ein Tauschgeschäft: Skalenvorteil gegen gemeinsame Schwachstelle. Bei Modellen ist der Preis nur schwerer sichtbar.

Foundation Models ersetzen daher weder spezialisierte Modelle noch feste Regeln. Für eine eng umrissene Aufgabe kann ein kleineres Modell genauer, günstiger oder leichter zu prüfen sein. Bei stabilen und eindeutig beschreibbaren Bedingungen kann eine Regel weiterhin die verlässlichere Lösung darstellen.

Wie regelbasierte und lernende Verfahren zusammenwirken

In der Regel kombinieren produktive KI-Systeme mehrere Verfahren mit klar getrennten Aufgaben. So klassifiziert etwa ein lernendes Modell eine Kundenanfrage, während ein generatives Modell eine Zusammenfassung oder einen Antwortentwurf erstellt. Feste Regeln schützen vertrauliche Nachrichten vor einer automatischen Weiterleitung, während klassische Software den Ablauf zuverlässig steuert.

Diese Ansätze ersetzen einander nicht. Lernende Modelle verarbeiten variable Muster, Regeln setzen verbindliche Grenzen und klassische Software führt festgelegte Schritte aus. Entscheidend ist daher nicht das modernste Verfahren, sondern die passende Aufgabenverteilung im Gesamtsystem.

Daten, Training und Inferenz bei KI-Modellen

Der Einsatz eines KI-Modells beginnt mit einer klar beschriebenen Aufgabe. Erst danach lässt sich entscheiden, ob ein neues Modell entwickelt, ein vorhandenes Modell angepasst oder ein bereits trainiertes Modell unverändert in ein KI-System integriert werden soll. Die Reihenfolge ist entscheidend. Ohne einen festgelegten Einsatzzweck fehlen die Maßstäbe für die Auswahl der Daten, die Bewertung der Modellausgaben und die spätere Überwachung.

Diese drei Wege unterscheiden sich nicht nur im Entwicklungsaufwand. Sie bestimmen auch, an welcher technischen Ebene Veränderungen vorgenommen werden: Ein Training oder Fine-Tuning verändert das Modell, während Anweisungen, Datenquellen, Zugriffsrechte und Kontrollregeln das umgebende KI-System verändern können. Das ist ein grundlegender Unterschied.

Nach der Auswahl oder Entwicklung muss das Modell geprüft werden. Anschließend folgt die Inferenz, also die Anwendung einer vorhandenen Modellversion auf neue Eingaben. Dabei erzeugt das Modell Ausgaben, ohne seine Parameter normalerweise zu verändern. Neue Eingaben und Rückmeldungen führen daher nicht automatisch dazu, dass das Modell weiterlernt.

Modell entwickeln, anpassen oder integrieren

Unternehmen können ein Modell neu trainieren, ein vortrainiertes Modell durch Fine-Tuning verändern oder ein vorhandenes Modell unverändert in ein eigenes KI-System einbinden. Ein vortrainiertes Modell hat bereits einen Trainingsprozess durchlaufen und dabei allgemeine oder aufgabenspezifische Zusammenhänge aus Daten abgebildet. Es beginnt nicht bei null.

Bei einer eigenen Modellentwicklung legt das Unternehmen den technischen Aufbau des Modells, die Datenbasis, das Lernverfahren und die Bewertungsmaßstäbe fest. Der technische Aufbau wird als Modellarchitektur bezeichnet. Sie bestimmt beispielsweise, welche Arten von Eingaben das Modell verarbeitet, wie seine Rechenschritte organisiert sind und welche Ausgaben es erzeugen kann.

Während des Trainings verändert ein Lernverfahren die Parameter des Modells. Parameter sind interne Zahlenwerte, die beeinflussen, wie Eingaben verarbeitet und Ausgaben berechnet werden. Ihr Ausgangswert wird zunächst festgelegt. Danach passt das Lernverfahren sie schrittweise so an, dass das Modell die vorgegebene Aufgabe anhand der Trainingsdaten möglichst gut erfüllt.

Eine eigene Modellentwicklung muss kein umfangreiches Foundation Model hervorbringen. Für die Zuordnung von Kundenanfragen kann bereits ein vergleichsweise kleines Klassifikationsmodell ausreichen, das ausschließlich zwischen Kategorien wie „Rechnung“, „Beschwerde“ und „Produktberatung“ unterscheidet. Der begrenzte Aufgabenumfang kann die Entwicklung und Prüfung erleichtern. Das Unternehmen benötigt dafür jedoch geeignete Daten, technisches Fachwissen und einen kontrollierten Entwicklungsprozess.

Beim Fine-Tuning dient ein vortrainiertes Modell als Ausgangspunkt. Es wird mit zusätzlichen Daten weitertrainiert, damit es eine bestimmte Aufgabe besser bearbeitet oder sich auf einen fachlichen Bereich spezialisiert. Das NIST definiert Fine-Tuning entsprechend als weiteren Trainingsschritt, der von einem vortrainierten Modell ausgeht und aufgaben- oder domänenspezifische Informationen ergänzt.

Die bereits trainierten Parameter werden dabei nicht vollständig verworfen. Stattdessen verändert das weitere Training je nach Verfahren alle Parameter, einen ausgewählten Teil davon oder ergänzte trainierbare Komponenten. Der erforderliche Aufwand kann dadurch geringer ausfallen als bei einer vollständigen Neuentwicklung. Fine-Tuning benötigt trotzdem geeignete Trainings- und Testdaten.

Ein Fine-Tuning ist nicht mit einer ausführlichen Eingabe gleichzusetzen. Anweisungen und Beispiele innerhalb einer aktuellen Anfrage können die erzeugte Ausgabe beeinflussen, ohne die gespeicherten Modellparameter zu verändern. Die Wirkung bleibt an den jeweiligen Verarbeitungskontext gebunden. Erst ein zusätzlicher Trainingsschritt verändert das Modell selbst.

Auch ein angepasstes Modell ist nicht automatisch besser geeignet. Wenn die zusätzlichen Trainingsdaten fehlerhaft, einseitig oder zu klein sind, kann das Fine-Tuning unerwünschte Verhaltensweisen verstärken oder bereits vorhandene Fähigkeiten beeinträchtigen. Der Nutzen muss deshalb anhand der vorgesehenen Aufgabe und mit getrennten Testdaten geprüft werden.

Bei der Systemintegration bleiben die Modellparameter unverändert. Das Modell wird stattdessen mit weiteren technischen Komponenten verbunden, die seinen konkreten Einsatz ermöglichen. Dazu können Datenquellen, Suchfunktionen, Regeln, Schnittstellen, Zugriffsrechte, Protokollierung und eine Benutzeroberfläche gehören.

Ein extern bereitgestelltes Modell lässt sich beispielsweise über eine Programmierschnittstelle aufrufen. Eine solche Schnittstelle, häufig als API bezeichnet, legt fest, wie andere Software Eingaben an das Modell übermittelt und Ausgaben zurückerhält. Das Unternehmen trainiert das Modell dabei nicht selbst. Es gestaltet jedoch das System, das den Aufruf vorbereitet und das Ergebnis weiterverarbeitet.

Bei einem externen Modell verlagert sich ein Teil der technischen Kontrolle zum Anbieter. Deshalb muss jeweils geprüft werden, welche Modellversion eingesetzt wird, wie Änderungen angekündigt werden, welche Ein- und Ausgabeformate unterstützt werden und wie der Anbieter übertragene Daten verarbeitet. Hinzu kommen Verfügbarkeit, Nutzungsgrenzen und Möglichkeiten für einen Wechsel oder eine Rückkehr zu einer vorherigen Version.⁹

Keiner dieser Wege ist grundsätzlich überlegen. Eine eigene Entwicklung ermöglicht eine enge technische Ausrichtung, verlangt aber passende Daten und Entwicklungsressourcen. Fine-Tuning nutzt ein vorhandenes Modell als Grundlage, verändert jedoch dessen Parameter und erfordert eine erneute Prüfung. Die unveränderte Integration greift am Modell selbst nicht ein, macht die Qualität der Anwendung dafür stärker von der Gestaltung des vollständigen KI-Systems abhängig.

Daten, Training und Test

Bevor ein Modell trainiert oder ausgewählt wird, muss seine Aufgabe eindeutig beschrieben sein. Die allgemeine Vorgabe „Kundenanfragen automatisch bearbeiten“ reicht dafür nicht aus, weil sie weder die erwartete Ausgabe noch den Maßstab für eine richtige Bearbeitung festlegt. Das Ziel muss konkreter sein. Ein Modell könnte beispielsweise das Thema einer Anfrage erkennen, ihre Dringlichkeit bewerten, die zuständige Abteilung bestimmen oder einen Antwortentwurf erzeugen.

Aus der Aufgabe wird das Trainingsziel abgeleitet. Es beschreibt, welche Ausgabe das Modell für eine bestimmte Eingabe erzeugen und nach welchem Maßstab diese Ausgabe verbessert werden soll. Bei einer Klassifikation sind die möglichen Ausgaben vorgegebene Kategorien. Für die Zuordnung von Kundenanfragen könnten dies „Rechnung“, „technische Störung“, „Produktberatung“ und „Beschwerde“ sein.

Für ein überwachtes Lernverfahren werden Beispiele benötigt, deren erwartete Ausgaben bereits bekannt sind. Eine solche erwartete Ausgabe heißt Kennzeichnung oder Label. Der Text einer Kundenanfrage bildet die Eingabe, während die zugeordnete Kategorie das Label darstellt. Anhand vieler solcher Paare soll das Modell lernen, auch neue Nachrichten richtig einzuordnen.

Die Daten müssen zum späteren Einsatzzweck passen. Eine große Datenmenge allein genügt nicht, wenn sie überwiegend einfache Fälle enthält, veraltete Prozesse abbildet oder wichtige Varianten nicht berücksichtigt. Entscheidend ist die Abdeckung. Seltene Beschwerden, mehrdeutige Formulierungen und besonders folgenreiche Fälle können für die Bewertung wichtiger sein als zahlreiche nahezu identische Standardanfragen.

Vor dem Training sollten deshalb mehrere Eigenschaften der Daten geprüft werden:

• Herkunft: Aus welchen Quellen stammen die Daten und unter welchen Bedingungen wurden sie erhoben?
• Zulässige Verwendung: Dürfen die Daten für Training, Anpassung oder Bewertung eingesetzt werden?
• Fachliche Qualität: Sind die zugeordneten Kategorien richtig, eindeutig und nach einheitlichen Kriterien vergeben?
• Abdeckung: Enthalten die Daten typische, seltene, mehrdeutige und besonders kritische Fälle?
• Aktualität: Entsprechen Sprache, Produkte, Zuständigkeiten und Prozesse dem späteren Einsatz?
• Vertraulichkeit: Enthalten die Daten personenbezogene, geschäftliche oder anderweitig geschützte Informationen?

Auch historische Daten benötigen eine fachliche Prüfung. Frühere Zuordnungen können Fehler, überholte Zuständigkeiten oder uneinheitliche Entscheidungen enthalten. Ein Modell erkennt nicht selbstständig, welche dieser Muster weiterhin erwünscht sind. Es kann sie lediglich statistisch abbilden.

Während des Trainings verarbeitet das Lernverfahren die vorbereiteten Beispiele und berechnet für jede Eingabe eine Ausgabe. Anschließend vergleicht es diese Ausgabe mit dem vorgegebenen Zielwert. Die dabei ermittelte Abweichung wird durch eine Verlustfunktion ausgedrückt. Sie liefert einen rechnerischen Wert, anhand dessen das Lernverfahren die Modellparameter schrittweise anpasst.

Ein niedriger Fehler bei den Trainingsdaten ist jedoch kein ausreichender Qualitätsnachweis. Das Modell kann sich zu stark an Besonderheiten oder einzelne Beispiele dieser Daten anpassen. Dieser Effekt wird als Überanpassung bezeichnet. Ein überangepasstes Modell verarbeitet bekannte Trainingsbeispiele gut, liefert bei neuen Eingaben aber deutlich schlechtere Ergebnisse.

Um eine solche Fehleinschätzung zu vermeiden, werden die verfügbaren Beispiele üblicherweise auf getrennte Datensätze verteilt:

• Trainingsdaten dienen dazu, die Modellparameter anzupassen.
• Validierungsdaten helfen während der Entwicklung, Modellvarianten und Einstellungen miteinander zu vergleichen.
• Testdaten werden anschließend verwendet, um das ausgewählte Modell mit bislang nicht zur Optimierung verwendeten Beispielen zu bewerten.

Google empfiehlt diese Dreiteilung, damit die abschließende Bewertung nicht auf denselben Beispielen beruht, anhand derer das Modell oder seine Einstellungen ausgewählt wurden. Validierungs- und Testdaten sollten außerdem repräsentativ für die späteren Eingaben sein und keine Kopien von Trainingsbeispielen enthalten. Google Machine Learning Crash Course: Training, Validierung und Test

Die Aufteilung darf nicht zu unerwünschten Überschneidungen führen. Wenn beispielsweise nahezu identische Kundenanfragen desselben Vorgangs sowohl in den Trainings- als auch in den Testdaten vorkommen, kann das Testergebnis zu günstig ausfallen. Das Modell verarbeitet dann keine wirklich unbekannten Fälle. Es profitiert lediglich davon, ähnliche Beispiele bereits im Training gesehen zu haben.

Die Größe der einzelnen Datensätze lässt sich nicht durch eine allgemeingültige Prozentverteilung festlegen. Sie muss zur Zahl und Vielfalt der verfügbaren Beispiele sowie zur gewünschten statistischen Aussagekraft passen. Besonders seltene Kategorien benötigen genügend Testfälle, damit ihre Erkennung überhaupt zuverlässig beurteilt werden kann. Ein Testdatensatz soll zudem die Bedingungen des späteren Betriebs möglichst realistisch abbilden.

Welche Kennzahlen für die Bewertung geeignet sind, richtet sich nach der Aufgabe und den Folgen verschiedener Fehler. Bei der Klassifikation von Kundenanfragen können unter anderem drei Werte relevant sein:

• Genauigkeit: Anteil aller Anfragen, die der richtigen Kategorie zugeordnet wurden.
• Präzision: Anteil der als Beschwerde eingeordneten Anfragen, bei denen es sich tatsächlich um Beschwerden handelt.
• Trefferquote beziehungsweise Recall: Anteil aller tatsächlichen Beschwerden, die vom Modell als Beschwerden erkannt wurden.

Eine hohe Gesamtgenauigkeit kann täuschen. Wenn nur eine von hundert Anfragen eine Beschwerde ist, erreicht ein Modell bereits 99 Prozent Genauigkeit, wenn es jede Anfrage als „keine Beschwerde“ einordnet. Für den vorgesehenen Zweck wäre es trotzdem ungeeignet. Google weist deshalb darauf hin, dass die Auswahl der Kennzahl von der Häufigkeit der Kategorien und von den Kosten unterschiedlicher Fehlzuordnungen abhängt. Google Machine Learning Crash Course: Genauigkeit, Präzision und Recall

Auch die Richtung des Fehlers ist entscheidend. Ein falsch positives Ergebnis liegt vor, wenn eine normale Anfrage irrtümlich als Beschwerde behandelt wird. Ein falsch negatives Ergebnis entsteht, wenn das Modell eine tatsächliche Beschwerde übersieht. Welche Fehlerart schwerer wiegt, muss aus dem betrieblichen Zusammenhang abgeleitet werden.

Die Prüfung darf deshalb nicht bei einem Durchschnittswert enden. Zusätzlich sind ungewöhnliche Formulierungen, fehlende Angaben, Schreibfehler, widersprüchliche Informationen und seltene Grenzfälle zu testen. Bei besonders folgenreichen Kategorien können eigene Schwellenwerte, feste Eskalationsregeln oder eine manuelle Prüfung notwendig sein.

Ein gutes Modellergebnis belegt außerdem noch keine zuverlässige Anwendung. Der Test des vollständigen KI-Systems muss zusätzlich prüfen, ob Eingaben richtig vorbereitet, Berechtigungen eingehalten, Ausgaben korrekt weitergeleitet und Fehlerzustände angemessen behandelt werden. Das NIST fasst solche Prüfungen unter Test, Evaluation, Verification and Validation, kurz TEVV, zusammen. Diese Bewertung bezieht sich auf das Modell, weitere Systemkomponenten und den vorgesehenen Nutzungskontext. NIST AI Risk Management Framework: Measure

Auch ein erfolgreich abgeschlossener Test gilt nur für die geprüften Bedingungen. Er beweist nicht, dass das Modell jede denkbare Eingabe richtig verarbeitet. Ändern sich Daten, Prozesse oder Anforderungen, kann eine erneute Bewertung erforderlich werden.

Inferenz: Anwendung eines trainierten Modells

Als Inferenz wird die Anwendung eines bereits trainierten Modells auf eine neue Eingabe bezeichnet, um daraus eine Ausgabe zu berechnen. Das Modell nutzt dafür die während des Trainings bestimmten Parameter. Bei einer gewöhnlichen Inferenz bleiben diese Parameter unverändert. Während das Training ein Modell erzeugt oder anpasst, wendet die Inferenz eine festgelegte Modellversion an.

Im engeren technischen Sinn umfasst die Inferenz nur die Verarbeitung von der Modelleingabe bis zur Modellausgabe. In einem vollständigen KI-System ist sie jedoch in weitere Verarbeitungsschritte eingebettet. Zunächst muss die ursprüngliche Eingabe in die vom Modell erwartete Form gebracht werden. Nach der Berechnung verarbeitet die umgebende Software die Modellausgabe weiter.

Ablauf von der Eingabe bis zum Ergebnis

Der Gesamtprozess lässt sich in vier Schritte gliedern:

1. Das KI-System nimmt eine Eingabe entgegen.
2. Die umgebende Software prüft, bereinigt, ergänzt oder formatiert sie für das Modell.
3. Das Modell verarbeitet diese Modelleingabe und berechnet eine Modellausgabe.
4. Weitere Regeln oder Softwarekomponenten übersetzen die Modellausgabe in ein verwendbares Systemergebnis.

Nur der dritte Schritt ist die eigentliche Inferenz. Die übrigen Schritte gehören zum technischen KI-System, beeinflussen aber, welche Eingabe das Modell erhält und wie seine Ausgabe verwendet wird.

Modellausgabe und Systemergebnis

Die Modellausgabe ist nicht mit dem abschließenden Ergebnis des KI-Systems gleichzusetzen. Sie kann zunächst aus erzeugtem Text, einer Zuordnung, einer Vorhersage oder einer anderen modellabhängigen Darstellung bestehen. Erst die nachgelagerte Verarbeitung legt fest, ob und wie diese Ausgabe angezeigt, gespeichert, geprüft oder für einen weiteren Vorgang verwendet wird.

Diese Unterscheidung grenzt die Verantwortung des Modells von der Funktion des vollständigen Systems ab. Ein ungeeignetes Systemergebnis kann sowohl durch die Modellausgabe als auch durch fehlerhafte Vorverarbeitung, unpassende Regeln oder eine falsche Weiterverarbeitung entstehen.

Wie generative KI und Sprachmodelle arbeiten

Generative KI kann neue Inhalte erzeugen oder vorhandene Inhalte verändern. Dazu gehören Texte, Bilder, Audioaufnahmen, Videos und Programmcode. Die Ausgaben entstehen nicht durch das Abrufen einer fertig gespeicherten Antwort. Ein generatives Modell berechnet vielmehr neue Ausgaben, deren Strukturen den während des Trainings abgebildeten Mustern entsprechen.

Große Sprachmodelle bilden eine Teilgruppe dieser Modelle. Sie verarbeiten Sprache als mathematisch dargestellte Einheiten und erzeugen daraus mögliche Fortsetzungen. Das erklärt ihre sprachliche Leistungsfähigkeit. Gleichzeitig wird damit klar, warum ein flüssiger und überzeugender Text nicht automatisch sachlich richtig sein muss.

Generative KI und Large Language Models (LLM)

Der Begriff „Generative KI” bezeichnet eine Funktionsklasse von KI-Modellen und -Systemen, die aus einer Eingabe neue Inhalte erzeugen oder vorhandene Inhalte gezielt verändern. Mögliche Ausgaben sind Texte, Bilder, Audio, Video und Programmcode. „Neu“ bedeutet in diesem Kontext, dass die Ausgabe speziell für die jeweilige Eingabe erzeugt wird. Das heißt jedoch nicht, dass ihr Inhalt in jeder Hinsicht neuartig ist. Das NIST beschreibt generative KI entsprechend als Modelle, die Strukturen und Merkmale ihrer Eingabedaten nachbilden, um abgeleitete Inhalte zu erzeugen.

Der Begriff bezeichnet eine Funktion und keine bestimmte technische Architektur. Unterschiedliche Modellarten können generativ arbeiten. Ein Large Language Model (LLM) ist dagegen eine bestimmte Klasse umfangreicher neuronaler Sprachmodelle und damit nur eine Form generativer KI.

Ein LLM bildet statistische Zusammenhänge in natürlicher Sprache und häufig auch in Programmcode ab. Die Bezeichnung „Large“ bezieht sich vor allem auf die große Zahl erlernter Parameter sowie den Umfang der für Entwicklung und Betrieb erforderlichen Daten und Rechenleistung. Eine allgemein verbindliche Größenuntergrenze gibt es nicht. Ein LLM ist auf sprachliche Eingaben und Ausgaben ausgerichtet. Systeme, die zusätzlich Bilder, Audio oder Video verarbeiten, kombinieren das Sprachmodell häufig mit weiteren Modellkomponenten und werden als multimodale Systeme bezeichnet.

LLMs können neben freien Texten auch Zusammenfassungen, Übersetzungen, Klassifikationen oder strukturierte Informationen ausgeben. Die jeweilige Aufgabe muss daher nicht selbst schöpferisch sein. Auch bei einer Klassifikation erzeugt das Modell eine sprachliche oder strukturierte Ausgabe. Der Europäische Datenschutzbeauftragte ordnet LLMs entsprechend als Sprachmodelle ein, die sprachliche Strukturen erlernen und für unterschiedliche textbezogene Aufgaben eingesetzt werden können.

Halluzinationen bei LLMs

LLMs erzeugen Sprache auf Basis gelernter statistischer Zusammenhänge. Eine Formulierung kann deshalb gut zu diesen Mustern passen, obwohl die enthaltene Aussage sachlich falsch ist. Die berechnete Wahrscheinlichkeit einer sprachlichen Fortsetzung sagt nichts darüber aus, wie wahrscheinlich es ist, dass diese Fortsetzung der Wahrheit entspricht.

Das NIST-Profil zu generativer KI bezeichnet selbstsicher dargestellte falsche oder fehlerhafte Inhalte als Konfabulationen. Dazu zählen auch Ausgaben, die von der Eingabe abweichen oder früheren Aussagen innerhalb derselben Antwort widersprechen. Umgangssprachlich werden solche Ausgaben als Halluzinationen bezeichnet. Dieser Begriff ist jedoch bildhaft, denn das Modell nimmt keine vermeintliche Realität wahr, sondern erzeugt eine unzutreffende Ausgabe.

Halluzinationen (Konfabulationen) können erfundene Tatsachen, Namen, Zahlen, Begründungen oder Quellenangaben enthalten. Auch eine echte Quelle kann falsch zugeordnet werden oder die behauptete Aussage nicht stützen. Eine fehlende Quellenangabe macht eine Aussage hingegen nicht automatisch zur Halluzination, sondern bedeutet lediglich, dass die Aussage nicht belegt ist.

Ein Modell berechnet, wie wahrscheinlich ein Satz ist – nicht, wie wahrscheinlich er stimmt. Zwischen diesen beiden Sätzen liegt das gesamte Risiko.

Sprachliche Sicherheit, Detailtiefe und eine logisch wirkende Erklärung sind daher keine Nachweise für Zuverlässigkeit. Sachliche Richtigkeit, innere Widerspruchsfreiheit und Quellenbezug müssen jeweils getrennt beurteilt werden. Entscheidend ist, ob geeignete Quellen die konkrete Aussage stützen und ob das vollständige KI-System diese Quellen korrekt zuordnet und verarbeitet.

Tokens, Vektoren und Transformer

Bevor ein Sprachmodell einen Text verarbeitet, zerlegt ein Tokenizer die Eingabe in sogenannte Tokens. Ein Tokenizer ist eine technische Komponente, die Zeichenfolgen nach einem festgelegten Verfahren in Verarbeitungseinheiten aufteilt. Diese Einheiten heißen Tokens.

Ein Token kann einem vollständigen Wort entsprechen. Es kann aber auch einen Wortteil, ein Satzzeichen, eine kurze Zeichenfolge oder ein einzelnes Byte abbilden. Welche Aufteilung entsteht, hängt vom Tokenisierungsverfahren und vom Vokabular des jeweiligen Modells ab. Der Satz „Die Rechnung wurde doppelt abgebucht“ enthält fünf Wörter, muss jedoch nicht aus fünf Tokens bestehen. Häufig vorkommende Wörter können jeweils ein Token bilden. Seltene oder zusammengesetzte Wörter werden möglicherweise auf mehrere Tokens verteilt. Dasselbe Wort kann zudem je nach vorangestelltem Leerzeichen oder Schreibweise unterschiedlich tokenisiert werden.

Tokens sind keine gespeicherten Wissenseinheiten. Ein Modell verwaltet daher nicht ein Token für eine bestimmte Person und ein weiteres Token für alle zugehörigen Fakten. Tokens bilden zunächst die technische Eingabe, aus der das Modell weitere mathematische Darstellungen berechnet.

Jedem Token wird eine Kennnummer zugeordnet. Diese Kennnummer wird anschließend in einen Vektor überführt. Ein Vektor ist eine geordnete Folge von Zahlen, mit der ein Modell Merkmale und Beziehungen rechnerisch verarbeiten kann. Diese anfängliche Vektordarstellung wird häufig als Token-Embedding bezeichnet.

Zusätzlich muss das Modell die Position eines Tokens berücksichtigen. Die Sätze „Der Kunde bezahlt die Rechnung“ und „Die Rechnung bezahlt den Kunden“ enthalten ähnliche Wörter, beschreiben aber verschiedene Aussagen. Positionsinformationen helfen dem Modell, solche Unterschiede in der Reihenfolge rechnerisch abzubilden.

Während der Verarbeitung entstehen kontextabhängige Repräsentationen. Die Darstellung eines Tokens hängt dann nicht mehr nur vom einzelnen Wortteil ab, sondern auch von den übrigen Tokens der Eingabe. Das Wort „Bank“ erhält in einem Text über eine Überweisung andere rechnerische Beziehungen als in einer Beschreibung einer Sitzgelegenheit. Mehr zur numerischen Darstellung von Bedeutung.

Viele moderne Sprachmodelle beruhen auf der Transformer-Architektur. Eine Architektur beschreibt den rechnerischen Aufbau eines Modells und das Zusammenwirken seiner Komponenten. Der Transformer wurde 2017 in der Forschungsarbeit „Attention Is All You Need“ als Architektur für die Verarbeitung von Sequenzen vorgestellt. Vaswani et al.: Attention Is All You Need

Ein zentraler Mechanismus des Transformers ist die Self-Attention. Dabei berechnet das Modell für eine Position, welche anderen Positionen bei ihrer weiteren Verarbeitung berücksichtigt werden sollen. Die betreffenden Vektordarstellungen werden unterschiedlich gewichtet und miteinander verbunden.

Self-Attention ist keine bewusste Aufmerksamkeit. Der Mechanismus bewertet rechnerische Beziehungen zwischen Positionen und ihren Darstellungen. Mehrere Verarbeitungsschichten erzeugen daraus zunehmend kontextabhängige Repräsentationen, die für die jeweilige Modellaufgabe verwendet werden.

Die innerhalb eines Sprachmodells entstehenden Tokenrepräsentationen dürfen nicht mit Embeddings für eine Dokumentensuche gleichgesetzt werden. Beide bestehen aus Vektoren, erfüllen aber unterschiedliche Funktionen:

• Interne Tokenrepräsentationen dienen dazu, die Tokens einer konkreten Eingabe innerhalb des Sprachmodells zu verarbeiten.
• Retrieval-Embeddings stellen meist ganze Textabschnitte, Dokumente oder Suchanfragen für einen Vergleich in einem Suchbestand dar.

Ein RAG-System kann deshalb ein eigenes Embedding-Modell für den Informationsabruf verwenden. Dessen Vektoren sind nicht mit den internen Tokenrepräsentationen des generativen Sprachmodells identisch.

Kontextfenster und schrittweise Textgenerierung

Als Kontext werden die Informationen bezeichnet, die ein Sprachmodell während einer konkreten Inferenz verarbeiten kann. Der Kontext besteht nicht ausschließlich aus der sichtbaren Nutzerfrage. Er kann mehrere Bestandteile enthalten:

• Systemanweisungen der umgebenden Software,
• die aktuelle Benutzereingabe,
• frühere Nachrichten einer Unterhaltung,
• bereitgestellte Dokumente,
• dynamisch abgerufene Textabschnitte,
• Ergebnisse externer Werkzeuge,
• bereits erzeugte Teile der Antwort.

Das Kontextfenster begrenzt die Menge dieser Informationen. Seine Größe wird in Tokens angegeben und hängt vom verwendeten Modell sowie von der technischen Implementierung ab. Zum Tokenbudget können sowohl Eingaben als auch Teile der zu erzeugenden Ausgabe gehören.

Überschreiten die verfügbaren Inhalte das Kontextfenster, muss das KI-System eine Auswahl treffen. Es kann ältere Nachrichten entfernen, Dokumente aufteilen, Inhalte zusammenfassen oder nur bestimmte Fundstellen übernehmen. Welche Informationen erhalten bleiben, entscheidet daher nicht das Sprachmodell allein. Auch die vorgelagerte Software beeinflusst den tatsächlich verfügbaren Kontext.

Ein großes Kontextfenster garantiert zudem nicht, dass jedes enthaltene Detail gleich zuverlässig berücksichtigt wird. Relevante Informationen können zwischen zahlreichen anderen Inhalten schwerer erkennbar sein. Widersprüchliche Anweisungen und Dokumente erhöhen die Anforderungen zusätzlich.

Bei der Textgenerierung berechnet das Modell für das jeweils nächste Token eine Verteilung möglicher Fortsetzungen. Ein Auswahlverfahren wählt daraus ein Token aus. Dieses Token wird an den bisherigen Text angefügt. Anschließend beginnt die Berechnung erneut.

Der Ablauf lässt sich vereinfacht in fünf Schritte gliedern:

1. Das KI-System übergibt die verfügbaren Anweisungen und Inhalte an das Modell.
2. Das Modell verarbeitet die Tokens innerhalb des Kontextfensters.
3. Es berechnet Bewertungswerte für mögliche nächste Tokens.
4. Ein Auswahlverfahren bestimmt die nächste Fortsetzung.
5. Der Vorgang wird wiederholt, bis die Ausgabe endet oder eine festgelegte Grenze erreicht ist.

Das Auswahlverfahren beeinflusst, wie vorhersehbar oder abwechslungsreich die Ausgabe ausfällt. Manche Einstellungen bevorzugen besonders stark gewichtete Tokens. Andere lassen mehr Variation zu. Gleiche Eingaben können deshalb unterschiedliche Ausgaben erzeugen.

Die berechneten Werte beziehen sich auf mögliche Fortsetzungen innerhalb des modellierten sprachlichen Zusammenhangs. Sie geben nicht an, wie wahrscheinlich eine erzeugte Behauptung in der Realität wahr ist. Eine detaillierte Begründung und ein sicherer Ton sind daher keine Nachweise für sachliche Richtigkeit.

Auch die Länge von Eingabe und Ausgabe hat praktische Folgen. Mehr Tokens beanspruchen Kontextplatz, Rechenzeit und je nach Dienst zusätzliche Kosten. Ein längerer Prompt verbessert das Ergebnis deshalb nicht automatisch. Er muss vor allem die für die Aufgabe relevanten Informationen klar und widerspruchsfrei bereitstellen.

Ein Modell hat keine Erinnerung. Sein „Gedächtnis“ eine Systemleistung durch andere Komponenten.

Modellwissen, Eingabekontext und abgerufene Informationen

Informationen können auf unterschiedlichen Wegen in eine Antwort gelangen. Für die Bewertung einer Ausgabe sollten mindestens vier Ebenen getrennt werden:

• Zusammenhänge, die in den Modellparametern abgebildet sind,
• Informationen aus der aktuellen Eingabe,
• zusätzlich abgerufene Dokumente oder Daten,
• Ergebnisse externer Werkzeuge.

Als Modellwissen werden vereinfachend die statistischen Zusammenhänge bezeichnet, die durch Training und spätere Modellanpassungen in den Parametern abgebildet wurden. Diese Zusammenhänge sind nicht wie Einträge in einem geordneten Nachschlagewerk gespeichert. Das Modell kann sie zur Erzeugung einer Antwort verwenden, aber häufig nicht zuverlässig auf ihre ursprüngliche Trainingsquelle zurückführen.

Trainingsinhalte fließen in verteilte mathematische Strukturen ein. Ein Modell kann deshalb Informationen unvollständig wiedergeben, unterschiedliche Quellen miteinander verbinden oder eine plausible Aussage erzeugen, die in keiner einzelnen Quelle enthalten war. Auch eine vom Modell genannte Fundstelle muss nicht die tatsächliche Herkunft der Aussage sein.

Die Aktualität des Modellwissens ist begrenzt. Eine unveränderte Modellversion übernimmt keine späteren Ereignisse automatisch in ihre Parameter. Aktuelle Angaben können dennoch in einer Antwort erscheinen, wenn sie in der Eingabe stehen, durch ein angeschlossenes System abgerufen werden oder vom Modell lediglich vermutet wurden.

Davon zu unterscheiden ist der Eingabekontext. Wird einer Anfrage ein Vertrag, eine Arbeitsanweisung oder ein Produktdatenblatt beigefügt, kann das Modell diese Informationen während der aktuellen Inferenz berücksichtigen. Seine Parameter werden dadurch normalerweise nicht verändert. Das Dokument wird Teil der aktuellen Eingabe, nicht automatisch Teil des dauerhaft abgebildeten Modellwissens.

Eine weitere Ebene bildet der dynamische Informationsabruf. Das KI-System kann vor oder während einer Antwort Daten aus einem Dokumentenbestand, einer Datenbank, einer Suchmaschine oder einer externen Schnittstelle abrufen. Die ausgewählten Ergebnisse werden anschließend in den Modellkontext eingefügt oder als strukturiertes Werkzeugergebnis bereitgestellt.

Bei einer Anfrage zum Status einer Bestellung können beispielsweise mehrere Informationswege zusammenwirken:

• Das Modellwissen liefert allgemeine sprachliche und fachliche Muster.
• Die Benutzereingabe beschreibt den konkreten Fall.
• Eine interne Arbeitsanweisung gibt den zulässigen Ablauf vor.
• Eine Schnittstelle liefert den aktuellen Bestellstatus.
• Systemregeln begrenzen, welche Angaben ausgegeben werden dürfen.

Diese Quellen besitzen unterschiedliche Funktionen. Das Modellwissen ermöglicht die sprachliche Verarbeitung, während die Schnittstelle einen aktuellen Zustandswert liefert. Die Arbeitsanweisung legt dagegen fest, wie mit diesem Wert umzugehen ist. Erst das vollständige System führt diese Informationen zusammen.

Abgerufene Informationen sind nicht automatisch richtig oder aktuell. Eine Datenbank kann einen veralteten Eintrag enthalten, ein Dokument kann für einen anderen Fall gelten und eine Schnittstelle kann fehlerhafte Daten liefern. Deshalb muss das KI-System auch Herkunft, Zeitpunkt, Berechtigung und fachliche Eignung der verwendeten Informationen berücksichtigen.

Retrieval-Augmented Generation (RAG)

Retrieval-Augmented Generation, kurz RAG, verbindet ein generatives Modell mit einem Informationsabruf. Vor der Antwort sucht das KI-System nach möglicherweise relevanten Inhalten und fügt ausgewählte Informationen in den Kontext des Modells ein. Das Modell erzeugt anschließend eine Antwort auf Grundlage der Anfrage, des zusätzlichen Kontexts und seiner Parameter.

Die 2020 veröffentlichte RAG-Arbeit von Patrick Lewis und weiteren Autoren kombinierte ein vortrainiertes generatives Modell mit einem externen, durchsuchbaren Wissensbestand. Sie unterschied dabei zwischen parametrisch im Modell abgebildeten Zusammenhängen und einer nicht parametrischen, abrufbaren Wissensquelle. Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

RAG bezeichnet kein einzelnes Produkt. Der Begriff beschreibt ein Verarbeitungsmuster, das sich mit verschiedenen Modellen, Suchverfahren und Datenquellen umsetzen lässt. Eine RAG-Anwendung benötigt daher nicht zwingend eine bestimmte Vektordatenbank.

Ein typisches dokumentenbasiertes RAG-System kann in mehreren Schritten arbeiten:

1. Referenzdokumente werden erfasst und in kleinere Textabschnitte aufgeteilt.
2. Die Textabschnitte werden zusammen mit Angaben zu Quelle, Datum und Berechtigung in einem Suchbestand gespeichert.
3. Ein Retriever sucht zu einer Anfrage passende Inhalte.
4. Das System fügt ausgewählte Fundstellen in den Modellkontext ein.
5. Das Sprachmodell erzeugt daraus eine Antwort.
6. Die Anwendung ordnet der Antwort gegebenenfalls Quelleninformationen zu.

Ein einzelner aufgeteilter Textabschnitt wird als Chunk bezeichnet. Ein Chunk sollte genügend Inhalt enthalten, damit eine Aussage mit ihren Bedingungen verständlich bleibt. Zu große Abschnitte können jedoch viel irrelevanten Text in den Kontext einbringen. Die passende Größe hängt deshalb vom Dokumenttyp und von den erwarteten Fragen ab.

Der Retriever ist die Suchkomponente des Systems. Er kann eine klassische Volltextsuche, eine Vektorsuche, Datenbankabfragen oder eine Kombination mehrerer Verfahren verwenden. Exakte Produktnummern und seltene Fachbegriffe können beispielsweise von einer lexikalischen Suche profitieren, während eine Vektorsuche auch inhaltlich ähnliche Formulierungen ohne identische Wörter finden kann. Welche Abschnitte ein Retriever überhaupt findet, hängt davon ab, wie ein Dokument gegliedert und abgegrenzt ist – dieselbe Frage stellt sich bei der Informationsarchitektur einer Website.

Bei einer Vektorsuche wandelt ein Embedding-Modell die Chunks und die Suchanfrage in Vektoren um. (Mehr dazu im Beitrag „Wie Google gelernt hat Suchanfragen zu verstehen„) Der Retriever vergleicht ihre mathematische Nähe und wählt geeignete Kandidaten aus. Die Konferenz der unabhängigen Datenschutzaufsichtsbehörden beschreibt Retriever, Embedding-Modell, Vektordatenbank und generatives Sprachmodell als typische Bestandteile eines dokumentenbasierten RAG-Systems. Sie weist zugleich darauf hin, dass die konkrete Ausgestaltung variieren kann.¹⁰

Vektornähe ist nur ein Näherungswert für inhaltliche Ähnlichkeit. Ein mathematisch ähnlicher Textabschnitt muss nicht die fachlich richtige oder vollständigste Quelle sein. Filter, Rankingverfahren und eine geeignete Dokumentaufteilung beeinflussen daher, welche Inhalte das Sprachmodell tatsächlich erhält.

RAG verändert das grundlegende Modelltraining nicht. Die abgerufenen Informationen werden während der aktuellen Inferenz bereitgestellt und nicht dauerhaft in die Modellparameter übernommen. Auch die Aktualisierung eines Suchindexes ist kein Fine-Tuning. Sie verändert den durchsuchbaren Datenbestand, nicht das Modell.

RAG macht keine Antwort richtig. Es macht sie nur abhängig von dem, was jemand vorher auffindbar gemacht hat.

Dadurch können neue oder unternehmensspezifische Informationen bereitgestellt werden, ohne das Sprachmodell erneut zu trainieren. RAG garantiert trotzdem keine Aktualität. Die Antwort kann nur auf dem Stand der Quellen beruhen, die erfasst, aufbereitet, indexiert und für die konkrete Anfrage gefunden wurden. Diese Kette hat dieselben Schwachstellen wie bei Suchmaschinen: Was nicht erreichbar, lesbar und eindeutig zugeordnet ist, taucht später in keiner Antwort auf. Mehr dazu im Beitrag zur technischen Suchmaschinenoptimierung.

Fehler können an mehreren Stellen entstehen:

• Die Referenzdokumente sind veraltet, unvollständig oder widersprüchlich.
• Die Aufteilung trennt eine Aussage von wichtigen Bedingungen.
• Der Retriever findet unpassende Abschnitte oder übersieht relevante Inhalte.
• Das Kontextfenster begrenzt die Zahl der übergebbaren Fundstellen.
• Das Sprachmodell verbindet Quellen falsch oder ignoriert Teile des Kontexts.
• Die Antwort ergänzt Aussagen, die in den abgerufenen Dokumenten nicht enthalten sind.

Eine Quellenanzeige belegt deshalb nicht automatisch jede Aussage. Das KI-System muss Dokumentkennungen, URLs, Seitenzahlen oder andere Fundstellen ausdrücklich mitführen und der erzeugten Antwort korrekt zuordnen. Das Modell kann trotz vorhandener Quellen falsche Verbindungen herstellen oder nicht belegte Angaben ergänzen.

Auch Berechtigungen müssen vor dem Abruf greifen. Ein Nutzer darf über die RAG-Anwendung keine Dokumente erhalten, auf die er außerhalb des Systems nicht zugreifen dürfte. Vertrauliche Inhalte erst nach dem Modellaufruf aus der sichtbaren Antwort zu entfernen, reicht nicht aus, wenn sie zuvor bereits in den Modellkontext oder in Protokolle gelangt sind.

KI-Agenten und mehrstufige Aufgabenbearbeitung

Ein Sprachmodell erzeugt zunächst eine Ausgabe aus dem verfügbaren Kontext. Ein KI-Agent erweitert diese Funktion um eine mehrstufige Aufgabenbearbeitung, bei der ein Modell innerhalb einer Softwareumgebung auf Werkzeuge zugreifen und Zwischenergebnisse verarbeiten kann. Der Agent ist daher kein einzelnes Modell. Er ist ein KI-System mit zusätzlichen Steuerungs- und Handlungsmöglichkeiten.

Ein Werkzeug stellt eine abgegrenzte technische Funktion bereit. Dazu können eine Dokumentensuche, ein Taschenrechner, eine Datenbankabfrage, eine Programmierschnittstelle oder das Erstellen eines Tickets gehören. Manche Werkzeuge lesen ausschließlich Informationen. Andere verändern Daten oder lösen weitere Prozesse aus.

Das Modell kann vorschlagen oder auswählen, welches Werkzeug mit welchen Parametern verwendet werden soll. Die tatsächliche Ausführung übernimmt die umgebende Software. Sie prüft, ob das Werkzeug zugelassen ist, ob die Parameter dem erwarteten Format entsprechen und ob die erforderlichen Berechtigungen bestehen.

Die Koordination dieser Schritte wird als Orchestrierung bezeichnet. Sie verwaltet das Ziel, den verfügbaren Kontext, Werkzeugbeschreibungen, Zwischenergebnisse und Abbruchbedingungen. Ein typischer agentischer Ablauf besteht aus einer Rückkopplungsschleife:

1. Das System übergibt Ziel, Kontext und verfügbare Werkzeuge an das Modell.
2. Das Modell erzeugt eine Antwort oder schlägt einen nächsten Schritt vor.
3. Die Software prüft den vorgeschlagenen Werkzeugaufruf.
4. Ein zugelassener Aufruf wird ausgeführt.
5. Das Werkzeug liefert ein Ergebnis zurück.
6. Das Ergebnis wird Teil des neuen Kontexts.
7. Das Modell bestimmt auf dieser Grundlage den nächsten Schritt.
8. Der Ablauf endet mit einem Ergebnis, einer Freigabe oder einer Eskalation.

Das Modell muss dabei nicht jeden Schritt frei bestimmen. Ein Ablauf kann weitgehend fest programmiert sein und dem Modell nur an einzelnen Stellen eine Auswahl erlauben. Der tatsächliche Grad der Autonomie ergibt sich aus dem Zusammenspiel von Modell, Orchestrierung, Werkzeugen, Berechtigungen und Abbruchregeln.

Bei einer Kundenanfrage könnte ein Agent zunächst das Anliegen klassifizieren. Anschließend liest er eine Kundennummer aus der Nachricht, ruft den Zahlungsstatus über eine Schnittstelle ab und sucht die passende interne Arbeitsanweisung. Danach erstellt das Modell einen Antwortentwurf. Das System kann den Entwurf einem Mitarbeiter vorlegen oder bei klar begrenzten Routinefällen weitere Schritte ausführen.

Ob ein Schritt nur vorgeschlagen oder tatsächlich ausgeführt wird, entscheidet die Systemkonfiguration. Eine Anwendung kann für jede schreibende Handlung eine Freigabe verlangen. Eine andere kann bestimmte, eng definierte Aktionen automatisch zulassen.

RAG und KI-Agenten sind keine aufeinanderfolgenden Entwicklungsstufen. Ein RAG-System erweitert den Modellkontext um abgerufene Informationen. Ein KI-Agent koordiniert mehrere Verarbeitungsschritte und kann den Informationsabruf als eines von mehreren Werkzeugen verwenden. Ebenso kann er Berechnungen ausführen, Datenbanken abfragen oder zulässige Änderungen anstoßen.

Nicht jeder Chatbot ist daher ein KI-Agent. Eine Anwendung, die eine Eingabe an ein Sprachmodell sendet und dessen Textantwort anzeigt, führt noch keinen mehrstufigen Handlungsprozess aus. Erst die Fähigkeit, Zwischenergebnisse zu verarbeiten und weitere Schritte oder Werkzeugaufrufe zu koordinieren, begründet die agentische Funktion.

Der Unterschied zwischen Assistent und Agent ist keine Frage der Intelligenz, sondern der Schreibrechte und damit des Risikos.

NIST beschreibt aktuelle Agentensysteme als Verbindung allgemeiner KI-Modelle mit zusätzlicher Software, durch die Modelle Werkzeuge verwenden und über eine reine Textausgabe hinaus auf ihre Umgebung einwirken können. Für die Risikobewertung unterscheidet NIST unter anderem zwischen lesenden Werkzeugen, begrenzten Schreibrechten und weitergehenden schreibenden Aktionen. NIST: Tool Use in Agent Systems

Mit den Handlungsmöglichkeiten verändern sich die Fehlerfolgen. Eine unzutreffende Textantwort kann ein Nutzer prüfen und verwerfen. Ein fehlerhafter Werkzeugaufruf kann dagegen Daten verändern, Nachrichten versenden oder weitere Prozesse auslösen.

Deshalb sollten Werkzeuge nur die für ihre Aufgabe erforderlichen Rechte erhalten. Schreibende Aktionen benötigen je nach möglicher Folge eine zusätzliche Prüfung, eine menschliche Freigabe oder eine technisch vorgesehene Rücknahme. Protokolle müssen außerdem erkennen lassen, welches Modell welchen Aufruf vorgeschlagen, welche Software ihn freigegeben und welches Werkzeug ihn tatsächlich ausgeführt hat.

Ein KI-Agent handelt somit nicht allein aufgrund der Fähigkeiten des Sprachmodells. Seine Möglichkeiten und Grenzen entstehen durch das vollständige System. Erst Berechtigungen, Kontrollen und Abbruchbedingungen bestimmen, welche Auswirkungen eine Modellausgabe in der tatsächlichen Umgebung haben kann.

Was Unternehmen mit KI bearbeiten können

Unternehmen können KI für sehr unterschiedliche Aufgaben einsetzen. Für eine belastbare Einordnung ist es jedoch sinnvoller, nach der betrieblichen Funktion zu fragen als nach einzelnen Produkten. Werkzeuge und Anbieter verändern sich. Die grundlegenden Aufgabenklassen bleiben dagegen vergleichsweise stabil.

KI-Systeme können Informationen auswerten, Objekte oder Vorgänge einordnen, zukünftige Werte schätzen, Inhalte erzeugen, Wissensarbeit unterstützen und innerhalb festgelegter Grenzen Handlungen auslösen. Auch die Eurostat-Erhebung zur KI-Nutzung in Unternehmen unterscheidet unter anderem Textanalyse, Sprach- und Bilderkennung, Datenanalyse, Inhaltsgenerierung, Prozessautomatisierung und maschinelle Entscheidungen.

Diese Kategorien beschreiben technische Möglichkeiten, aber noch keinen geeigneten Anwendungsfall. Entscheidend ist, welches konkrete Problem bearbeitet werden soll, welche Daten dafür verfügbar sind und woran sich die Qualität des Ergebnisses messen lässt.

Analysieren, klassifizieren und prognostizieren

Bei analytischen Aufgaben verarbeitet ein KI-System vorhandene Daten, um Muster, Abweichungen oder relevante Merkmale zu erkennen. Die Ausgabe kann eine Kennzahl, eine Markierung, eine Kategorie oder eine Prognose sein.

Dabei müssen drei Aufgaben voneinander unterschieden werden:

• Analyse: Das System untersucht vorhandene Daten und verdichtet sie zu verwertbaren Informationen.
• Klassifikation: Das System ordnet einen Vorgang einer vorgegebenen Kategorie zu.
• Prognose: Das System schätzt einen noch unbekannten oder zukünftigen Wert.

Eine Analyse kann beispielsweise wiederkehrende Themen in Kundenanfragen erkennen. Eine Klassifikation ordnet die einzelne Anfrage Kategorien wie „Rechnung“, „technisches Problem“ oder „Kündigung“ zu. Eine Prognose schätzt, wie viele Anfragen in der folgenden Woche voraussichtlich eingehen werden.

Weitere mögliche Anwendungen sind:

• Erkennen ungewöhnlicher Transaktionen,
• Erkennen von Auffälligkeiten in technischen Messwerten,
• Prüfen von Bildern auf sichtbare Produktionsfehler,
• Einordnen eingehender Dokumente,
• Ermitteln wiederkehrender Beschwerdegründe,
• Priorisieren von Vertriebsanfragen,
• Schätzen der Nachfrage oder des Materialbedarfs,
• Bewerten möglicher Ausfallrisiken.

Die Grenzen zwischen diesen Aufgaben können fließend sein. Ein System kann zunächst ein Dokument analysieren, daraus Angaben extrahieren und es anschließend einer Prozesskategorie zuordnen. Die Klassifikation kann wiederum bestimmen, welcher Arbeitsschritt als Nächstes folgt.

Ob solche Anwendungen funktionieren, hängt wesentlich von der Datenbasis ab. Ein Prognosemodell benötigt historische Daten, die mit der zukünftigen Nutzung hinreichend vergleichbar sind. Ein Klassifikationsmodell benötigt eindeutige Kategorien und Beispiele, anhand derer richtige und falsche Zuordnungen beurteilt werden können.

Die technische Vorhersagbarkeit einer Aufgabe steigt häufig, wenn:

• Eingaben in wiederkehrender Form vorliegen,
• die Zielgrößen eindeutig definiert sind,
• ausreichend geeignete Beispiele vorhanden sind,
• Ergebnisse zeitnah überprüft werden können,
• Fehler und ihre Folgen messbar sind.

Ein Modell kann statistische Zusammenhänge erkennen, ohne deren Ursachen zu kennen. Wenn sich beispielsweise hohe Bestellmengen in der Vergangenheit mit bestimmten Wetterlagen überschnitten haben, bedeutet dies noch nicht, dass das Wetter die Bestellungen verursacht hat. Für geschäftliche Entscheidungen muss deshalb zwischen einer beobachteten Korrelation und einem belastbaren Wirkungszusammenhang unterschieden werden.

Auch Prognosen sind keine sicheren Zukunftsaussagen. Sie gelten nur unter den Bedingungen, die aus den Entwicklungs- und Betriebsdaten hervorgehen. Neue Wettbewerber, Lieferprobleme, geänderte Preise oder außergewöhnliche Ereignisse können diese Bedingungen jedoch verändern.

Für die praktische Nutzung ist daher nicht allein die durchschnittliche Modellgenauigkeit entscheidend. Ein Unternehmen muss auch prüfen, welche Fehler besonders problematisch sind. Eine geringfügig ungenaue Absatzprognose hat beispielsweise andere Folgen als eine übersehene Sicherheitsmeldung oder eine fälschlich als Betrug eingestufte Zahlung.

Inhalte erzeugen und Wissensarbeit unterstützen

Generative KI kann Texte, Bilder, Audioinhalte, Videos und Programmcode erzeugen oder bestehende Inhalte verändern. Im Unternehmensalltag liegt ihr Nutzen jedoch selten in einem vollständig selbstständig erstellten Endprodukt, sondern vielmehr in der Unterstützung einzelner Arbeitsschritte.

Mögliche Aufgaben sind:

• einen ersten Textentwurf erstellen,
• Antwortentwürfe für Kundenanfragen formulieren,
• Varianten für Texte oder Gestaltungen entwickeln,
• einen vorhandenen Text zusammenfassen,
• Besprechungsnotizen strukturieren,
• Inhalte übersetzen oder sprachlich vereinfachen,
• lange Dokumente nach bestimmten Angaben durchsuchen,
• Fragen zu internen Dokumenten beantworten,
• Informationen aus mehreren Dokumenten gegenüberstellen,
• Programmcode erklären oder vorbereiten.

Wissensarbeit umfasst jedoch mehr als die Erzeugung neuer Texte. Mitarbeiter müssen Informationen finden, prüfen, vergleichen, einordnen und für eine konkrete Entscheidung aufbereiten. KI kann an mehreren dieser Schritte ansetzen.

So könnte ein System beispielsweise aus einer umfangreichen Produktdokumentation die für eine Kundenanfrage relevanten Abschnitte heraussuchen. Anschließend erstellt das Sprachmodell daraus einen Antwortentwurf. Der Mitarbeiter prüft dann, ob die verwendeten Informationen zum konkreten Produkt und zur aktuellen Version passen, und gibt die Antwort schließlich frei.

In diesem Fall ist das Ergebnis keine autonome Bearbeitung durch das Sprachmodell. Es entsteht durch eine Arbeitsteilung:

• Das Suchsystem beschafft mögliche Quellen.
• Das Sprachmodell verdichtet die Informationen.
• Fachliche Regeln begrenzen die zulässige Antwort.
• Ein verantwortlicher Mitarbeiter prüft das Ergebnis.

Welche Aufgaben vollständig oder nur teilweise unterstützt werden können, hängt vom Prüfaufwand ab. So lässt sich ein interner Entwurf mit klarer Quellenbasis anders bewerten als eine veröffentlichte Fachinformation, eine Vertragsauskunft oder eine Aussage mit gesundheitlichen beziehungsweise rechtlichen Folgen.

Die Geschwindigkeit der Inhaltserzeugung ist deshalb kein ausreichender Erfolgsmaßstab. Wenn ein System zwar mehr Entwürfe produziert, aber zugleich mehr falsche Aussagen, uneinheitliche Formulierungen oder aufwendige Korrekturen verursacht, kann sich die Gesamtqualität des Prozesses verschlechtern.

Sinnvolle Bewertungsgrößen können sein:

• Zeit bis zum prüffähigen Entwurf,
• Zeitaufwand für Prüfung und Freigabe,
• Zahl notwendiger Korrekturen,
• Anteil der tatsächlich nutzbaren Ergebnisse,
• fachliche Richtigkeit,
• Vollständigkeit der verwendeten Informationen,
• Einhaltung der vorgegebenen Terminologie.

Der Stanford AI Index 2026 fasst Forschungsergebnisse dahingehend zusammen, dass Produktivitätsgewinne vor allem bei strukturierten, messbaren Aufgaben auftreten, deren Ausgaben gut kontrolliert werden können. Bei Aufgaben mit tiefer fachlicher Beurteilung fallen die Ergebnisse uneinheitlicher aus.

Dadurch verändern sich die Anforderungen an den Mitarbeiter. Anstelle jeden Inhalt von Grund auf zu erstellen, muss er Aufgaben präzise beschreiben, geeignete Quellen auswählen, Ausgaben prüfen und Fehler erkennen. Wer das Fachgebiet nicht beurteilen kann, kann auch einen sprachlich überzeugenden Entwurf nur eingeschränkt kontrollieren.

Generative KI ersetzt somit nicht automatisch die fachliche Kompetenz. In vielen Anwendungsfällen verändert sie jedoch den Einsatzbereich: von der erstmaligen Formulierung hin zur Aufgabenstellung, Auswahl, Kontrolle und Verantwortung.

Prozesse steuern und Handlungen auslösen

Ein KI-System kann nicht nur Informationen erzeugen. Es kann seine Ausgabe auch an andere Systeme übergeben und damit einen betrieblichen Vorgang vorbereiten oder auslösen.

Zwischen Unterstützung und selbstständiger Ausführung bestehen mehrere Abstufungen:

1. Das System stellt Informationen bereit.
2. Es empfiehlt einen nächsten Schritt.
3. Es bereitet eine Handlung vor.
4. Ein Mitarbeiter prüft und bestätigt die Handlung.
5. Das System führt die Handlung innerhalb festgelegter Grenzen automatisch aus.

Bei einer Kundenanfrage könnte das System zunächst das Anliegen erkennen und eine zuständige Abteilung vorschlagen. In einer weitergehenden Ausführung könnte es bereits ein Ticket anlegen, vorhandene Kundendaten eintragen und einen Antwortentwurf erstellen. Erst nach der Freigabe wird die Nachricht versendet.

Ein stärker automatisiertes System könnte bestimmte Routinefälle selbstständig bearbeiten. Dafür muss jedoch eindeutig festgelegt sein, welche Fälle zulässig sind und wann eine Eskalation erfolgt. Eine allgemeine Informationsanfrage kann möglicherweise automatisch beantwortet werden. Bei Beschwerden, Vertragsänderungen oder Zahlungsproblemen ist dagegen eine menschliche Prüfung erforderlich.

Eine KI-basierte Prozesssteuerung ersetzt die klassische Automatisierung nicht. Häufig werden beide Ansätze kombiniert.

• KI verarbeitet variable oder unstrukturierte Eingaben.
• Fachliche Regeln prüfen Bedingungen und Grenzwerte.
• Bestehende Software führt festgelegte Arbeitsschritte aus.
• Mitarbeiter übernehmen unklare oder folgenreiche Fälle.

Ein Beispiel hierfür ist die Verarbeitung eingehender Rechnungen. KI kann Dokumente auslesen und Rechnungsdaten extrahieren. Anschließend prüft regelbasierte Software, ob Bestellnummer, Lieferant und Betrag zulässig sind. Nur wenn alle Bedingungen erfüllt sind, wird der Vorgang automatisch weitergeleitet. Abweichungen gelangen zur manuellen Prüfung.

Bei agentischen Systemen kann das Modell mehrere Schritte planen und Werkzeuge auswählen. Der NIST-Beitrag zur Werkzeugnutzung in KI-Agenten unterscheidet dabei unter anderem zwischen lesenden Zugriffen, eingeschränkten Schreibrechten und Werkzeugen, die eine Umgebung unmittelbar verändern können.

Diese Unterscheidung ist für Unternehmen entscheidend. Das Lesen eines freigegebenen Dokuments erzeugt ein anderes Risiko als das Ändern eines Kundenkontos.

• das Ändern eines Kundenkontos,
• das Versenden einer E-Mail,
• das Löschen einer Datei,
• das Erteilen einer Bestellung,
• das Auslösen einer Zahlung.

Je weiter ein KI-System in einen Prozess eingreifen darf, desto stärker muss die Handlungsebene kontrolliert werden. Dazu gehören eindeutige Berechtigungen, dokumentierte Freigaberegeln, Protokolle, Abbruchmöglichkeiten und die Eskalation an einen zuständigen Mitarbeiter.

Auch ein technisch leistungsfähiges System kann einen ungeeigneten Prozess nicht ausgleichen. Wenn Zuständigkeiten unklar sind, Daten nicht zuverlässig gepflegt werden oder unterschiedliche Abteilungen denselben Vorgang unterschiedlich behandeln, automatisiert die KI diese Widersprüche möglicherweise mit.

Vor einer Prozessautomatisierung muss deshalb Folgendes geklärt werden:

• Welches Ereignis startet den Prozess?
• Welche Daten werden benötigt?
• Welche Entscheidungen sind regelbasiert möglich?
• An welchen Stellen bestehen fachliche Ermessensspielräume?
• Welche Handlungen dürfen automatisch erfolgen?
• Welche Fehler müssen verhindert oder rückgängig gemacht werden?
• Wer trägt die Verantwortung für das Ergebnis?

Die Eignung eines KI-Anwendungsfalls ergibt sich somit nicht allein aus der Frage, ob ein Modell eine Aufgabe grundsätzlich bearbeiten kann. Ausschlaggebend ist, ob das Unternehmen die Eingaben beherrscht, die Ausgabe bewerten und die daraus entstehenden Handlungen kontrollieren kann.

Eine OECD-Studie zur KI-Nutzung in kleinen und mittleren Unternehmen zeigt für eine nicht repräsentative Stichprobe von mehr als 2.000 Unternehmen aus zwölf OECD-Staaten, dass überwiegend fertige Standardprodukte eingesetzt werden. Die gezielte und sichere Einbindung in betriebliche Abläufe fällt dagegen weiterhin uneinheitlich aus. Der Besitz eines KI-Werkzeugs ist somit noch keine funktionierende KI-Anwendung.

Grenzen und Risiken von KI

Das Risiko eines KI-Systems ist keine feste Eigenschaft des verwendeten Modells. Es ergibt sich aus der Wechselwirkung zwischen Einsatzzweck, Daten, Modell, weiteren Softwarekomponenten, Zugriffsrechten und nachgelagerten Entscheidungen. Das NIST AI Risk Management Framework betrachtet Risiken deshalb im Kontext des vollständigen Systems und seiner vorgesehenen Verwendung.¹¹

Dasselbe Modell kann sehr unterschiedliche Risikoprofile aufweisen. Erstellt es beispielsweise einen internen Textentwurf, lässt sich ein Fehler in der Regel erkennen und korrigieren. Wenn ein darauf aufbauendes System jedoch Bewerber bewertet, Kundendaten verändert oder Zahlungen auslöst, kann bereits dieselbe fehlerhafte Ausgabe erhebliche Folgen haben.

Auch der EU AI Act verlangt für Hochrisiko-KI-Systeme ein fortlaufendes Risikomanagement über den gesamten Lebenszyklus hinweg. Hinzu kommen Anforderungen an menschliche Aufsicht sowie an Genauigkeit, Robustheit und Cybersicherheit. Diese gesetzlichen Pflichten gelten zwar nicht automatisch für jede KI-Anwendung, zeigen aber, welche Faktoren bei folgenreichen Einsätzen berücksichtigt werden müssen.¹²

Prompt Injection und Automation Bias

Eine Prompt Injection ist eine Eingabe, die ein KI-Modell dazu bringt, vorgesehene Anweisungen zu missachten oder sein Verhalten unbeabsichtigt zu verändern.

Direkte Prompt Injection: Eine direkte Prompt Injection erfolgt über die Eingabe des Benutzers. Dieser versucht beispielsweise, übergeordnete Systemanweisungen außer Kraft zu setzen, vertrauliche Informationen abzurufen oder unzulässige Werkzeugaufrufe auszulösen. Das OWASP GenAI Security Project empfiehlt deshalb, den zulässigen Aufgabenbereich des Systems zu begrenzen, Ein- und Ausgaben zu prüfen und Berechtigungen unabhängig vom Sprachmodell durchzusetzen.

Jailbreaking: Jailbreaking ist eine Form der Prompt Injection, die gezielt auf das Umgehen von Sicherheitsregeln eines Modells ausgerichtet ist. Angreifer verwenden dazu beispielsweise Rollenspiele, verschachtelte Anweisungen oder schrittweise aufgebaute Szenarien, um eigentlich ausgeschlossene Inhalte oder Handlungen zu erzeugen. Jailbreaking lässt sich nicht allein durch eine zusätzliche Anweisung im Systemprompt verhindern; erforderlich sind kombinierte Schutzmaßnahmen auf Modell-, Anwendungs- und Zugriffsebene.

Persistente Prompt Injection: Bei einer persistenten Prompt Injection wird die schädliche Anweisung dauerhaft in einer Datenquelle gespeichert, die das KI-System später verarbeitet. Betroffen sein können beispielsweise eine Wissensdatenbank, ein Kundenverwaltungssystem, eine E-Mail oder ein Dokumentenbestand für RAG. Das NIST beschreibt unter anderem manipulierte Wissensbestände und Anweisungen, die mehrere Verarbeitungsschritte einer RAG-Pipeline überstehen können. Schreibrechte, Herkunftsnachweise und Prüfungen neu aufgenommener Inhalte begrenzen dieses Risiko.

Multimodale Prompt Injection: Eine multimodale Prompt Injection nutzt nicht nur sichtbaren Text, sondern beispielsweise Bilder, Audiodateien, PDF-Dateien oder eingebettete Metadaten. Eine für den Benutzer unauffällige Anweisung kann vom KI-Modell dennoch erkannt und als Handlungsanweisung interpretiert werden. Schutzmaßnahmen müssen daher alle verarbeiteten Datenformen berücksichtigen und dürfen sich nicht auf die Prüfung sichtbarer Texte beschränken.

Verschleierte oder aufgeteilte Prompt Injection: Angreifer können eine Anweisung durch unsichtbaren Text, ungewöhnliche Unicode-Zeichen, Kodierungen oder die Verteilung auf mehrere Eingabefelder verschleiern. Erst nach dem Zusammenführen oder Dekodieren erkennt das Modell den vollständigen Befehl. Einfache Stichwortfilter reichen dagegen häufig nicht aus, weshalb Inhalte vor der Verarbeitung vereinheitlicht und zusammenhängende Eingabefolgen geprüft werden müssen. Beispiele für solche Techniken dokumentieren NIST und Microsoft.

Prompt Injection über Werkzeugausgaben und weitere Agenten: Ein KI-Agent kann manipulierte Anweisungen auch über die Ausgabe eines angeschlossenen Werkzeugs oder eines anderen Agenten erhalten. Eine Suchfunktion, Programmierschnittstelle oder Datenbankabfrage liefert dann nicht nur Sachinformationen, sondern zugleich Inhalte, die den weiteren Arbeitsablauf verändern sollen. Solche Ausgaben müssen als potenziell nicht vertrauenswürdig behandelt werden; Werkzeugaufrufe sollten technisch validiert, Berechtigungen begrenzt und kritische Aktionen vor der Ausführung bestätigt werden. Microsoft empfiehlt dafür mehrere aufeinander abgestimmte Schutzebenen.

Risiken können bereits in den Daten entstehen, etwa durch fehlende, fehlerhafte oder nicht repräsentative Beispiele. Weitere Ursachen sind ungeeignete Modellannahmen, unpassend abgerufene Dokumente, fehlerhafte Schnittstellen oder unklare Zuständigkeiten. Auch menschliches Verhalten spielt eine Rolle: Als „Automatisierungsbias“ wird die Neigung bezeichnet, automatisierten Ergebnissen übermäßig zu vertrauen. Das NIST-Profil für generative KI weist darauf hin, dass dieser Effekt Fehler und Verzerrungen verstärken kann.

Fehlerhafte, unbelegte und veraltete Ausgaben

Die zuvor beschriebene Konfabulation ist nur eine Form unzuverlässiger KI-Ausgaben. Eine Antwort kann vollständig erfunden sein, aber auch lediglich veraltet, unvollständig oder im konkreten Zusammenhang ungeeignet. Ebenso kann sie Personen verwechseln, Zahlen falsch zusammenführen oder einer Quelle eine Aussage zuschreiben, die dort nicht enthalten ist.

Die Fehlerquellen liegen auf unterschiedlichen Ebenen:

• Das Modell bildet einen Zusammenhang nur unvollständig oder verzerrt ab.
• Die Eingabe enthält zu wenig Kontext oder mehrdeutige Begriffe.
• Relevante Informationen fehlen im verfügbaren Kontext.
• Bereitgestellte Dokumente sind veraltet oder widersprechen einander.
• Der Informationsabruf wählt unpassende Textstellen aus.
• Tabellen, Einheiten oder Bezeichnungen werden bei der Verarbeitung falsch zugeordnet.
• Das System ergänzt fehlende Angaben durch eine sprachlich plausible Fortsetzung.
• Die Bedingungen des Anwendungsfalls haben sich seit Entwicklung oder Prüfung des Systems verändert.

Diese Ursachen verlangen unterschiedliche Kontrollen. Eine bessere Eingabe kann fehlenden Kontext ergänzen, behebt aber keine falsche Ausgangsquelle. Ein aktuelles Dokument hilft nur, wenn das System es findet, richtig zuordnet und bei der Antwort tatsächlich berücksichtigt.

Auch Quellenangaben lösen das Problem nicht automatisch. Ein Sprachmodell kann nicht vorhandene Publikationen nennen oder eine echte Quelle mit einer unzutreffenden Behauptung verbinden. Entscheidend ist deshalb nicht nur, ob ein Link angezeigt wird, sondern ob die konkrete Fundstelle die jeweilige Aussage stützt. Eine vom Modell erzeugte Begründung ist ebenfalls kein technisches Protokoll seines tatsächlichen Entscheidungswegs. Ob ein System eine Aussage der richtigen Quelle zuordnen kann, hängt auch davon ab, wie eindeutig die beteiligten Entitäten benannt und maschinenlesbar ausgezeichnet sind.

Aktualität muss gesondert geprüft werden. Das Modellwissen bildet den Stand bestimmter Trainings- und Aktualisierungsphasen ab. Ein angeschlossener Informationsabruf kann neuere Dokumente bereitstellen, doch auch diese können überholt, unvollständig oder für den Einzelfall ungeeignet sein. Verlässliche Aktualität erfordert daher erkennbare Veröffentlichungsstände, Versionen und Gültigkeitszeiträume.

Die erforderliche Kontrolle richtet sich nach der möglichen Fehlerfolge. Bei einem internen Formulierungsvorschlag kann eine redaktionelle Prüfung genügen. Eine Vertragsauskunft, eine Personalentscheidung oder eine automatisch ausgeführte Änderung benötigt dagegen strengere Prüf- und Freigabeschritte.

Menschliche Kontrolle ist dabei nur wirksam, wenn der zuständige Mitarbeiter ausreichend Zeit, Fachwissen und Entscheidungsbefugnis besitzt. Wer eine Ausgabe lediglich bestätigt, ohne ihre Grundlage prüfen oder sie zurückweisen zu können, bildet keine belastbare Kontrollinstanz.

Verzerrungen, fehlende Transparenz und ungeeignete Bewertungsmaßstäbe

Ein KI-System kann systematisch unterschiedliche Ergebnisse für vergleichbare Fälle erzeugen. Solche Verzerrungen können durch die Trainingsdaten, die Datenaufbereitung, die Zieldefinitionen, die Modellarchitektur oder die spätere Anwendung entstehen.

Historische Daten spiegeln frühere Entscheidungen und gesellschaftliche Bedingungen wider. Wenn bestimmte Gruppen in diesen Daten anders behandelt wurden oder seltener vorkommen, kann das Modell diese Unterschiede übernehmen. Auch scheinbar neutrale Merkmale können indirekt mit geschützten Eigenschaften zusammenhängen.

Das NIST weist darauf hin, dass generative KI Verzerrungen verstärken und in größerem Umfang verbreiten kann. Außerdem kann die Leistungsfähigkeit zwischen Sprachen, Dialekten oder Personengruppen variieren. Ein durchschnittlich gutes Ergebnis schließt daher nicht aus, dass das System bei bestimmten Gruppen deutlich schlechter arbeitet.

Fehlende Transparenz hat mehrere Ebenen:

• Es ist möglicherweise unbekannt, welche Daten für das Training verwendet wurden.
• Interne Modellparameter lassen sich nicht unmittelbar in fachliche Regeln übersetzen.
• Der Anbieter veröffentlicht gegebenenfalls nur begrenzte Informationen zu Tests und Grenzen.
• Nachgelagerte Systemregeln können das Modellergebnis verändern.
• Eine erzeugte Begründung muss nicht dem tatsächlichen Berechnungsweg entsprechen.

Transparenz bedeutet deshalb nicht, dass jede einzelne Modellberechnung vollständig nachvollziehbar sein muss. Für einen verantwortbaren Einsatz müssen jedoch mindestens Zweck, Eingaben, verwendete Systemversion, bekannte Grenzen, Bewertungsmaßstäbe und menschliche Eingriffsmöglichkeiten nachvollziehbar sein.

Auch ungeeignete Kennzahlen können ein verzerrtes Qualitätsbild erzeugen. Eine hohe Gesamtgenauigkeit ist wenig aussagekräftig, wenn seltene, aber besonders folgenreiche Fälle regelmäßig übersehen werden. Ebenso kann ein Sprachmodell stilistisch gute Texte erzeugen, während die Fachinformationen fehlerhaft bleiben.

Die Bewertung sollte daher auf den konkreten Anwendungsfall ausgerichtet werden.

• Welche Fehlerarten sind möglich?
• Wie häufig treten sie auf?
• Welche Personen oder Prozesse sind betroffen?
• Welche Fehler haben besonders schwere Folgen?
• Funktioniert das System auch bei seltenen und mehrdeutigen Fällen?
• Bleibt die Qualität unter realen Betriebsbedingungen stabil?
• Können Betroffene oder Mitarbeiter ein Ergebnis anfechten?

Ein Bewertungsmaßstab ist nur dann geeignet, wenn er die tatsächliche Aufgabe und die Folgen möglicher Fehler abbildet.

Datenschutz, Geschäftsgeheimnisse und Informationssicherheit

Bei der Nutzung externer KI-Dienste können Eingaben, hochgeladene Dateien, Gesprächsverläufe und technische Nutzungsdaten an den Anbieter übertragen werden. Je nach Dienst, Vertrag und Konfiguration können diese Informationen gespeichert, protokolliert, durch Unterauftragnehmer verarbeitet oder zur Weiterentwicklung des Systems verwendet werden.

Vor der Nutzung muss deshalb geklärt werden:

• Welche Daten dürfen eingegeben werden?
• Wo und wie lange werden sie gespeichert?
• Werden sie zum Training oder zur Produktverbesserung genutzt?
• Welche Unterauftragnehmer erhalten Zugriff?
• In welchen Staaten erfolgt die Verarbeitung?
• Welche Lösch- und Auskunftsmöglichkeiten bestehen?
• Welche vertraglichen Zusicherungen gibt der Anbieter?

Personenbezogene Daten können nicht nur in Eingaben vorkommen. Ein KI-System kann sie auch aus Zusammenhängen ableiten oder in seiner Ausgabe erzeugen. Die Datenschutzkonferenz weist darauf hin, dass das Entfernen von Namen und Anschriften häufig nicht genügt, wenn sich eine Person aus dem übrigen Kontext identifizieren lässt.

Geschäftsgeheimnisse können beispielsweise in Quellcode, Vertragsunterlagen, Kalkulationen, Produktplänen, interner Kommunikation oder noch nicht veröffentlichten Geschäftszahlen enthalten sein. Werden solche Inhalte unkontrolliert in einen externen Dienst eingegeben, verliert das Unternehmen möglicherweise die Kontrolle über Speicherung, Zugriff und weitere Verarbeitung.

Ein internes RAG-System vermeidet diese Risiken nicht automatisch. Es kann vertrauliche Dokumente auffindbar machen, die ein Mitarbeiter außerhalb des KI-Systems nicht einsehen dürfte. Die Berechtigungen der Dokumentenquelle müssen daher auch beim Informationsabruf durchgesetzt werden.

Zusätzliche Risiken entstehen durch Angriffe auf KI-Systeme. Bei einer Prompt Injection werden Anweisungen so in eine Eingabe oder ein abgerufenes Dokument eingebettet, dass das Modell entgegen dem vorgesehenen Ablauf handelt. Laut NIST können indirekte Prompt Injections über externe Inhalte in eine Anwendung gelangen und unter ungünstigen Bedingungen Daten offenlegen oder unerlaubte Aktionen auslösen.

Mögliche Schutzmaßnahmen sind:

Organisatorisch:

• freigegebene Werkzeuge und Anwendungsfälle,
• Rollen- und Berechtigungskonzepte,
• Freigaben vor schreibenden oder irreversiblen Aktionen.

Technisch:

• Trennung vertraulicher Datenbestände,
• Verschlüsselung und Protokollierung,
• Prüfung externer Inhalte.

Datenbezogen:

• Datenminimierung,
• Begrenzung der Aufbewahrungszeiten,
• regelmäßige Sicherheits- und Berechtigungstests.

In der technischen Orientierungshilfe der Datenschutzkonferenz werden unter anderem Verschlüsselung, digitale Signaturen, Prüfsummen, Protokollierung sowie Rollen-, Berechtigungs- und Löschkonzepte als relevante Maßnahmen genannt.

Verantwortung des Menschen

Die Einbindung eines Menschen macht ein KI-System nicht automatisch sicherer. Wenn ein Mitarbeiter Ergebnisse nur formal bestätigt, ohne über ausreichende Zeit, Fachwissen oder Zugriff auf die benötigten Quellen zu verfügen, entsteht lediglich eine scheinbare Kontrolle.

Das NIST beschreibt die übermäßige Orientierung an automatisierten Ergebnissen als „Automation Bias”. Je zuverlässiger ein System im Alltag erscheint, desto eher neigen Nutzer dazu, seine Ausgaben ungeprüft zu übernehmen.

Wirksame menschliche Kontrolle setzt voraus, dass der zuständige Mitarbeiter:

• die Aufgabe und mögliche Fehler versteht,
• ungewöhnliche Fälle erkennt,
• die zugrunde liegenden Informationen prüfen kann,
• ausreichend Zeit für die Kontrolle erhält,
• Modellergebnisse zurückweisen darf,
• eine Eskalation auslösen kann,
• weiß, wer die endgültige Entscheidung verantwortet.

Dabei muss festgelegt werden, welche Entscheidungen das System nur vorbereitet und welche Handlungen es selbst ausführen darf. Ein Antwortentwurf, eine Empfehlung und eine endgültige Entscheidung stellen unterschiedliche Verantwortungsstufen dar.

Bei folgenreichen Anwendungen sollte außerdem dokumentiert werden, welche Eingaben, Modellversionen, Quellen und menschlichen Eingriffe zu einem Ergebnis geführt haben. Ohne diese Informationen lassen sich Fehler nur eingeschränkt untersuchen und Entscheidungen kaum nachvollziehen.

Ein Mensch im Prozess ist noch keine Kontrolle. Kontrolle beginnt erst mit der Befugnis, Nein zu sagen.

Menschliche Verantwortung bedeutet jedoch nicht, jede einzelne Modellausgabe manuell zu kontrollieren. Vielmehr bedeutet sie, den gesamten Prozess so zu gestalten, dass Zuständigkeit, Eingriffsmöglichkeiten und Eskalationswege dem möglichen Schaden entsprechen.

Recht und KI-Governance

Der Begriff „KI-Governance” bezeichnet die organisatorischen Regeln, Zuständigkeiten und Kontrollverfahren für die Entwicklung, Beschaffung und Nutzung von KI. Sie verbindet technische Qualität, Informationssicherheit, Datenschutz, rechtliche Anforderungen und betriebliche Verantwortung.

Der EU AI Act bildet einen wichtigen Rechtsrahmen dafür, ist aber nicht die einzige relevante Regelung. Je nach Anwendung können zusätzlich das Datenschutzrecht, das Urheberrecht, das Arbeitsrecht, die Mitbestimmung, das Produktsicherheitsrecht, das Verbraucherschutzrecht, das Wettbewerbsrecht und branchenspezifische Vorschriften gelten.

Die folgende Einordnung entspricht dem am 22. August 2026 geltenden Stand. Grundlage ist die am 27. Juli 2026 aktualisierte konsolidierte Fassung des EU AI Act.

Risikoklassen, Rollen und Pflichten nach dem EU AI Act

Der EU AI Act verfolgt einen risikobasierten Ansatz. Die häufig verwendete Darstellung als einfache Pyramide aus vier Risikoklassen ist jedoch verkürzt. Neben verbotenen Praktiken, Hochrisikosystemen und Transparenzpflichten enthält die Verordnung eigene Regeln für Anbieter von Modellen mit allgemeinem Verwendungszweck, sogenannte General-Purpose AI Models.

Für Unternehmen sind insbesondere folgende Gruppen relevant:

• Verbotene KI-Praktiken: Bestimmte manipulative, ausbeuterische, diskriminierende oder biometrische Anwendungen dürfen nicht oder nur unter sehr engen Voraussetzungen eingesetzt werden.
• Hochrisiko-KI-Systeme: Dazu gehören bestimmte Anwendungen in sensiblen Bereichen wie Beschäftigung, Bildung, kritische Infrastruktur, biometrische Identifikation oder Zugang zu wesentlichen Leistungen.
• Systeme mit Transparenzpflichten: Dazu zählen bestimmte Systeme zur direkten Interaktion mit Menschen sowie Anwendungen für synthetische Inhalte und Deepfakes.
• Weitere KI-Systeme: Für sie gelten nicht automatisch die besonderen Hochrisikoanforderungen. Andere Gesetze und allgemeine Pflichten bleiben dennoch anwendbar.
• Modelle mit allgemeinem Verwendungszweck: Für deren Anbieter gelten besondere Dokumentations-, Informations- und teilweise Risikomanagementpflichten.

Ebenso wichtig ist die Rolle eines Unternehmens. Der AI Act unterscheidet unter anderem:

• Anbieter: entwickelt ein KI-System oder lässt es entwickeln und bringt es unter eigenem Namen auf den Markt oder in Betrieb;
• Betreiber: verwendet ein KI-System unter eigener Verantwortung;
• Importeur: bringt ein System eines außerhalb der EU ansässigen Anbieters auf den Unionsmarkt;
• Händler: stellt ein System innerhalb der Lieferkette bereit;
• Produkthersteller: integriert KI unter bestimmten Voraussetzungen in ein eigenes Produkt.

Ein Unternehmen, das einen externen KI-Dienst intern verwendet, ist typischerweise Betreiber. Bei einem Hochrisikosystem kann es jedoch zum Anbieter werden, wenn es das System wesentlich verändert, dessen vorgesehenen Zweck so ändert, dass daraus ein Hochrisikosystem wird, oder es unter eigenem Namen bereitstellt.

Datenschutz, Urheberrecht und Nutzungsrechte

Der AI Act ersetzt die Datenschutz-Grundverordnung nicht. Die konsolidierte Fassung stellt ausdrücklich klar, dass das Datenschutzrecht auf personenbezogene Daten im Zusammenhang mit KI-Systemen weiterhin anwendbar bleibt.

Die Datenschutzkonferenz empfiehlt eine Vorabprüfung von Art, Umfang, Zweck und Umständen der Verarbeitung. Ist voraussichtlich mit einem hohen Risiko für die Rechte und Freiheiten natürlicher Personen zu rechnen, ist eine Datenschutz-Folgenabschätzung nach Artikel 35 DSGVO erforderlich.

Bei ausschließlich automatisierten Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung muss zusätzlich Artikel 22 der Datenschutz-Grundverordnung geprüft werden. Die Vorschrift enthält ein grundsätzliches Recht, einer solchen Entscheidung nicht unterworfen zu werden, sowie begrenzte Ausnahmen und Schutzanforderungen.

Der AI Act verpflichtet Anbieter von Modellen mit allgemeinem Verwendungszweck unter anderem zu einer Strategie zur Einhaltung des europäischen Urheberrechts und zu einer öffentlichen Zusammenfassung der für das Training verwendeten Inhalte. Diese Anbieterpflichten bedeuten jedoch nicht, dass jede erzeugte Ausgabe automatisch frei von Rechten Dritter ist.

Fazit: KI als kontrollierbares Unternehmenssystem gestalten

KI ist weder eine eigenständige Wissensquelle noch ein selbstverantwortlicher Mitarbeiter. Sie ist eine technische Komponente innerhalb eines betrieblichen Systems. Ihr Nutzen und ihr Risiko ergeben sich aus der Interaktion von Daten, Modellen, Regeln, Werkzeugen und menschlichen Entscheidungen.

Ein geeigneter Einsatz beginnt deshalb nicht mit der Auswahl eines Produkts. Ausgangspunkt ist eine klar begrenzte Aufgabe, deren Ergebnis bewertet werden kann. Anschließend müssen der Datenzugang, die Fehlerfolgen, die Eingriffsrechte und die rechtlichen Anforderungen geklärt werden.

Ein eng begrenzter KI-Anwendungsfall kann strategisch wichtiger sein als eine allumfassende KI-Strategie: Er macht Nutzen, Fehler und Verantwortung erstmals im praktischen Einsatz messbar.

Je weiter ein System von der Analyse über eine Empfehlung bis zur selbstständigen Handlung vordringt, desto stärker müssen Berechtigungen, Überwachung und Rücknahmemöglichkeiten ausgeprägt sein. Technische Leistungsfähigkeit allein schafft noch keinen verantwortbaren Prozess.

Ein enger, überprüfbarer Anwendungsfall ist also nicht zwangsläufig wenig ambitioniert. Er schafft die Möglichkeit, Nutzen, Grenzen und Folgekosten unter realen Bedingungen zu erkennen. Erst auf dieser Grundlage lässt sich entscheiden, ob ein KI-System erweitert, verändert oder wieder eingestellt werden sollte.

Die zentrale unternehmerische Frage lautet somit nicht nur, was KI leisten kann. Vielmehr ist entscheidend, welche Aufgabe ein Unternehmen ihr unter welchen Bedingungen übertragen kann, ohne die Kontrolle über Informationen, Entscheidungen und Verantwortung zu verlieren.

Wie sich diese Fragen konkret auf Auffindbarkeit und Struktur einer Website auswirken, behandeln die weiteren Beiträge im SEO-Wissen. Für eine Einschätzung des eigenen Anwendungsfalls hilft oft ein direktes Gespräch.

1. Siehe Definition: https://csrc.nist.gov/glossary/term/artificial_intelligence_system [↩]
2. NIST: Artificial Intelligence Model: https://csrc.nist.gov/glossary/term/artificial_intelligence_model [↩]
3. EU AI Act, Erwägungsgrund 97 [↩]
4. Siehe Expertensysteme: https://de.wikipedia.org/wiki/Expertensystem [↩]
5. Mehr dazu: https://en.wikipedia.org/wiki/Symbolic_artificial_intelligence [↩]
6. Siehe: https://csrc.nist.gov/glossary/term/machine_learning [↩]
7. Paper von 2015: https://www.nature.com/articles/nature14539 [↩]
8. Yann LeCun: Private Seite – Wikipedia-Eintrag [↩]
9. Das NIST AI Risk Management Framework bezieht Risiken aus Drittanbieter-Software, externen Daten und weiteren Bestandteilen der Lieferkette ausdrücklich in die Bewertung eines KI-Systems ein. [↩]
10. Dokument: DSK: Generative KI-Systeme mit RAG-Methode [↩]
11. Zur Vertiefung: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/ [↩]
12. Siehe Kapitel III, Abs. 2, Art. 9 „Risikomanagement“ https://eur-lex.europa.eu/eli/reg/2024/1689/2024-07-12/deu#art_9 [↩]