Künstliche Intelligenz übernimmt zunehmend komplexe Aufgaben – doch wer trägt die Verantwortung, wenn KI-Systeme Entscheidungen treffen oder produktive Aktionen auslösen? Genau dieser Frage widmen sich Dr. Sönke Magnussen und Mahbouba Gharbi, Kuratoren des CPSA-Advanced-Level-Moduls SWARC4AI – Software Architecture for AI Systems. Im Interview sprechen sie darüber, warum KI-Agenten keine Verantwortung übernehmen können, welche Risiken vollständig autonome Agenten mit sich bringen und wie Softwarearchitekturen Governance, Sicherheit und Nachvollziehbarkeit technisch sicherstellen können.
- KI-Agenten übernehmen zunehmend komplexe Aufgaben. Warum ist die Annahme problematisch, dass sie menschliche Verantwortung ersetzen können?
LLMs erzeugen Wahrscheinlichkeiten, aber sie übernehmen keine Verantwortung im rechtlichen, fachlichen oder organisatorischen Sinn. Sie können Entscheidungen begründen, jedoch weder Haftung tragen noch Compliance-Anforderungen erfüllen. Verantwortung bleibt immer bei Menschen und Organisationen. Deshalb muss eine Architektur klar definieren, wo KI unterstützt und wo verbindliche Entscheidungen kontrolliert oder freigegeben werden.
- Ihr sprecht davon, dass LLM-basierte Agenten schnell zu einem „Single Point of Failure“ werden können. Woran liegt das konkret und welche Risiken entstehen daraus für Unternehmen?
Viele Agentenarchitekturen bündeln Verstehen, Entscheiden und Handeln in einer einzigen Komponente. Fehler, Manipulationen oder Fehlinterpretationen wirken dadurch unmittelbar auf Geschäftsprozesse und produktive Systeme. Besonders kritisch wird das bei weitreichenden Berechtigungen oder automatisierten Tool-Aufrufen. Ein einzelner Fehler kann dann finanzielle Schäden, Compliance-Verstöße oder Sicherheitsvorfälle auslösen.
- Viele Teams setzen aktuell auf Guardrails oder Prompt-Härtung. Warum reichen diese Maßnahmen aus eurer Sicht nicht aus, um KI-Systeme wirklich sicher und kontrollierbar zu machen?
Guardrails und Prompt-Härtung sind wichtige Sicherheitsmechanismen für KI-Systeme, arbeiten jedoch überwiegend lokal und heuristisch. Sie bewerten einzelne Eingaben, Ausgaben oder Aktionen, können aber nicht sicherstellen, dass ein komplexer Geschäftsprozess über mehrere Schritte hinweg korrekt und regelkonform ausgeführt wird. Anforderungen wie Vier-Augen-Prinzipien, Freigabeworkflows, Funktionstrennung oder regulatorische Genehmigungsketten erfordern technisch erzwingbare Prozesskontrollen und nachvollziehbare Zustandsübergänge. Guardrails reduzieren Risiken und erhöhen die Robustheit eines Systems, ersetzen jedoch keine Prozessgovernance. Für geschäftskritische oder regulierte Abläufe sind sie daher notwendig, aber allein nicht ausreichend.
- Welche architektonischen Ansätze helfen dabei, Verantwortung und Kontrolle in KI-Systemen wiederherzustellen und wie lassen sich diese konkret in der Praxis umsetzen?
Bewährt haben sich Muster wie Human Approval Gates, Policy Decision Points, Least-Privilege-Zugriffe und vollständige Audit Trails. Dabei darf das LLM Vorschläge erzeugen, während Regeln, Freigaben und Berechtigungen durch unabhängige Komponenten (meist durch klassische Software) durchgesetzt werden. In der Praxis bedeutet das, dass produktive Aktionen über Workflows, Rule Engines oder kontrollierte Services laufen. So wird Governance technisch erzwungen statt nur per Prompt beschrieben.
- Ihr beschreibt Ansätze, bei denen die eigentlichen Entscheidungen nicht von der KI selbst getroffen werden. Wie kann eine solche Architektur aussehen und welche Vorteile bietet sie im Vergleich zu vollständig autonomen Agenten?
Eine robuste Architektur trennt Verstehen, Planen und Ausführen voneinander. Das LLM analysiert die Situation, klassische Software oder Planning-Komponenten erzeugen einen regelkonformen Handlungsplan, und kontrollierte Systeme führen die Aktionen aus. Dadurch werden kritische Entscheidungen nachvollziehbar, prüfbar und reproduzierbar. Die Stärke der KI bleibt erhalten, während Risiken durch unkontrollierte Autonomie deutlich reduziert werden.