Guardian Agents bis 2030 Agentenbasierte Aufsicht über KI-Agenten

Anbieter zum Thema

Gartner Deutschland GmbH

Rittal GmbH & Co. KG

Schneider Electric GmbH

Fsas Technologies GmbH

Nach Einschätzung von des Marktforschungs- und Analystenunternehmens Gartner werden Guardian-Agent-Technologien bis zum Jahr 2030 mindestens 10 bis 15 Prozent des Marktes für agentenbasierte Künstliche Intelligenz (KI) ausmachen. Solche Software soll die Zuverlässigkeit und Sicherheit von KI-Prozessen gewährleisten; denn die Risiken stiegen.

Die Gartner-Analysten definieren Guardian Agents als KI-basierte Technologien, die speziell für vertrauenswürdige und sichere Interaktionen mit KI-Systemen entwickelt werden. Sie übernehmen dabei eine doppelte Rolle: Einerseits agieren sie als Assistenten, die Nutzer bei Aufgaben wie der Überprüfung, Überwachung und Analyse von Inhalten unterstützen. Andererseits entwickeln sie sich zunehmend zu halbautonomen oder sogar vollständig autonomen Agenten, die eigenständig Aktionspläne erstellen und umsetzen können – einschließlich der Fähigkeit, Handlungen umzulenken oder zu blockieren, um sie auf vorher definierte Ziele auszurichten.

Eine aktuelle Webinar-Umfrage von Gartner unter 147 CIOs und IT-Führungskräften, die im Mai 2025 erhoben worden ist, zeigt: 24 Prozent der Befragten setzen bereits erste KI-Agenten ein und weitere 4 Prozent verwenden mehr als ein Dutzend. Rund 52 Prozent der 125 Teilnehmer an derselben Webinar-Umfrage gaben an, dass sich ihre KI-Agenten in erster Linie auf Anwendungsfälle konzentrieren, die mit internen Verwaltungsfunktionen wie IT, HR und Buchhaltung zusammenhängen, während 23 Prozent auf externe, kundenorientierte Funktionen ausgerichtet sind. Bei der gleichen Umfrage ergibt außerdem, dass sich 50 Prozent der Teilnehmer derzeit in der Evaluations- oder Testphase befinden.

Weitere 17 Prozent geben an, noch keine entsprechenden Maßnahmen ergriffen zu haben, planen jedoch, bis spätestens Ende 2026 mit der Implementierung zu beginnen. Um diese Systeme wirksam zu koordinieren und abzusichern, sind automatisierte Kontrollen in den Bereichen Vertrauen, Risiko und Sicherheit erforderlich. Das treibt die Nachfrage nach Guardian Agents weiter an.

Unerwünschte (Neben-)Wirkungen

Avivah Litan, VP und Distinguished Analyst bei Gartner, drückt die Notwendigkeit so aus: „Agentenbasierte KI ohne Richtlinien kann zu unerwünschten Ergebnissen führen.“ Wenn agentenbasierte KI-Systeme nicht mit klaren Leitplanken (engl- guard rails) ausgestattet sind, könnten sie Fehlentscheidungen treffen oder Sicherheitsrisiken verursachen.

Die Gartner-Analysten sehen mehrere Bedrohungskategorien, die sich auf sie auswirken, darunter Eingabemanipulation und Data Poisoning, bei denen sich Agenten auf manipulierte oder falsch interpretierte Daten verlassen. Beispiele hierfür sind:

• Entführung und Missbrauch von Zugangsdaten, die zu unbefugter Kontrolle und Datendiebstahl führen.

• Agenten, die mit gefälschten oder kriminellen Websites und Quellen interagieren, was zu vergifteten Aktionen führen kann.

• Abweichendes und unbeabsichtigtes Verhalten von Agenten aufgrund interner Fehler oder externer Auslöser, die zu Rufschädigung und Betriebsunterbrechungen führen können.

„Die rasante Beschleunigung und zunehmende Handlungsfähigkeit von KI-Agenten erfordert einen Wechsel über die traditionelle menschliche Aufsicht hinaus“, so Litan. „In dem Maße, wie sich Unternehmen auf komplexe Multi-Agenten-Systeme zubewegen, die mit halsbrecherischer Geschwindigkeit kommunizieren, können Menschen mit dem Potenzial für Fehler und bösartige Aktivitäten nicht Schritt halten.“

Die Analysten prognostizieren, dass 70 Prozent der KI-Anwendungen bis 2028 Multi-Agenten-Systeme nutzen werden.Diese eskalierende Bedrohungslage unterstreiche den dringenden Bedarf an Guardian Agents, die automatisierte Überwachung, Kontrolle und Sicherheit für KI-Anwendungen und Agenten bieten.

CIOs sowie Sicherheits- und KI-Verantwortliche sollten sich auf drei primäre Nutzungstypen von Guardian Agents konzentrieren, um zur Absicherung und zum Schutz von KI-Interaktionen beizutragen:

• Prüfer: Identifizierung und Überprüfung von KI-generierten Ausgaben und Inhalten auf Richtigkeit und akzeptable Nutzung.

• Überwacher: Beobachtung und Verfolgung von KI- und Agenten-Aktionen für menschliche oder KI-basierte Folgemaßnahmen.

• Beschützer: Anpassung oder Blockierung von KI- und Agentenaktionen und -berechtigungen durch automatisierte Aktionen während des Betriebs.

Prinzipiell positiv ist dabei, dass Guardian-Agenten Interaktionen und Anomalien unabhängig von der Art der Nutzung verwalten. Und dies sei eine wichtige Säule ihrer Integration, so Gartner.

„Guardian Agents setzen auf ein breites Spektrum agentischer Fähigkeiten und deterministischer, KI-gestützter Bewertungen“, so Litan. Dadurch sind sie in der Lage, sämtliche Aktivitäten der Agenten zu überwachen, gezielt zu steuern und dabei eine Balance zwischen dynamischer Entscheidungsfindung und konsequentem Risiko-Management herzustellen.“

(ID:50450326)