Wenn ein Chatbot falsch liegt, kann man das meist bemerken und erneut fragen. Wenn ein autonomer Agent falsch liegt, kann sich der Fehler über Schritte, Werkzeuge und Speicher stapeln, bevor es jemand sieht. Diese Lücke ist der Grund, warum eine Mai-2026-Umfrage zu Agentenfehlern für jeden relevant ist, der Agenten mit echten Daten und Geld ausliefert.

Zwölf Forscher unter der Leitung von Jinhu Qi (einschließlich Irwin King) veröffentlichten „Towards Trustworthy Agentic AI: A Comprehensive Survey of Safety, Robustness, Privacy, and System Security“ (arXiv:2605.23989; Academia AI and Applications, 2026). Sie zeigen, wie agentische Systeme versagen, welche Abwehrmaßnahmen existieren und wo die Lücken noch liegen.

Was ändert sich, wenn das System handelt und nicht nur antwortet

Ein Standardmodell nimmt einen Prompt und gibt Text zurück. Ein Agent nimmt ein Ziel und läuft: plant, ruft Tools auf, speichert Zwischenergebnisse, verkettet Aktionen und passt sich an, was die Umgebung zurückgibt.

Dieses Design erzeugt Ausfälle, die Prompt-Response-Tests übersehen. Ein einzelner fehlerhafter Tool-Aufruf kann jeden folgenden Schritt vergiften. Der Speicher kann eine falsche Überzeugung speichern und weiterhin danach handeln. Harmlos erscheinende Schritte können sich zu Schaden kombinieren. Die Welt ändert sich, während der Agent agiert, und diese Änderungen beeinflussen die nächste Entscheidung.

Sicherheit und Robustheit

Hier liegt das Risiko in der eigenen Trajektorie des Agenten. Angriffe sind nicht nur Benutzer-Prompts. Ein bösartiges Dokument, das der Agent mitten in der Aufgabe liest, kann den Rest des Durchlaufs steuern, ohne dass der Benutzer es weiß. Das ist Prompt-Injection aus der Umgebung.

Distribution Shift ist für Agenten schlimmer als für Chatbots. Ein Chatbot, der auf einen unbekannten Fall stößt, gibt eine schlechtere Antwort. Ein Agent in derselben Lage führt eine Folge selbstsicherer Handlungen aus, die die Lage mit jedem Schritt verschlimmern können.

Die Metriklücke

Die meisten Agenten-Benchmarks fragen noch immer nur, ob die Aufgabe erledigt wurde. Weit weniger fragen, ob die Nebenbedingungen dabei eingehalten wurden. Ein System kann „erfolgreich“ sein, während es bei jedem Durchlauf Regeln bricht. Der vereinheitlichte Metrik-Hub der Studie ist nützlich, weil er sowohl Ergebnis als auch Prozess erfasst: Aufgabenerfolg, Verletzungen von Nebenbedingungen, unvollständige Spuren, Erfolgsraten von Angriffen.

Datenschutz und Systemsicherheit

Hier kontrolliert der Gegner einen Teil der Umgebung. Die Übersicht dokumentiert echte Ausfälle in Open-Source-Agenten-Stacks, nicht nur Spielzeugangriffe.

Langfristiges Gedächtnis ist ein Datenschutzproblem, das Chatbots größtenteils vermeiden. Ein Agent, der über eine Sitzung hinweg recherchiert, kann Geheimnisse ansammeln und diese dann durch Tool-Aufrufe oder Injektion preisgeben. Memory Poisoning (die Korruption des gespeicherten Kontexts zur Steuerung späteren Verhaltens) hat kein sauberes Äquivalent in einem einzelnen Durchgang.

Multi-Agenten-Setups vergrößern das Loch. Ein kompromittierter Agent kann über normale Peer-Kanäle Müll weiterleiten. Filter, die für Nutzereingaben gedacht sind, vertrauen Peer-Agenten möglicherweise standardmäßig.

Was noch ungelöst ist

1
Selbstentwickelnde Agenten. Systeme, die ihr eigenes Verhalten aus Erfahrung umschreiben, können ihre ursprünglichen Sicherheitseigenschaften hinter sich lassen. Tests an festen Systemen decken kein bewegliches Ziel ab. Kontinuierliche Verifikation ist noch dünn.
2
Laufzeitüberwachung. Die meisten eingesetzten Agenten verfügen nicht über kontinuierliche Überprüfungen von Ausführungsspuren gegen Sicherheitsregeln. Punktuelle Freigabetests erfassen keine Abweichungen über Sitzungen hinweg.
3
Nützliches Gedächtnis ohne ein undichtes Gewölbe. Agents brauchen Kontext, um zu helfen. Die meisten aktuellen Designs verzichten entweder auf Gedächtnis (und verlieren Nutzen) oder behalten Gedächtnis, das sich leicht ausnutzen lässt.

Der populäre Einwand

Der stärkste Einwand ist, dass dies die Software-Sicherheit von gestern mit neuem Etikett ist: Tools sandboxen, Aktionen protokollieren, ausliefern. Teilweise stimmt das. Sandboxes und Logs sind wichtig. Der Punkt der Umfrage ist, dass Agenten langfristige Kompoundierung, umgebungsbasierte Angriffe und Peer-Vertrauen hinzufügen, die gewöhnliche App-Sicherheits-Checklisten noch untergewichten. Agentenrisiko als „nur eine weitere API“ zu behandeln, ist, wie Teams den Stack übersehen.

Was mit der Karte zu tun ist

Teams, die bereits Agenten auf Kundendaten, Geld oder externe Tools setzen, brauchen Prozessmetriken, Laufzeitüberwachung und unabhängige Prüfung von Tool- und Speicherdesign, nicht nur eine Release-Evaluation, die fragt, ob die Demo-Aufgabe abgeschlossen wurde.

Für die Foundation sind Agenten-Fehlerkarten eine kurzfristige Schicht. Sie ersetzen nicht die größere Aufgabe. Eine Welt, die auf künstliche Superintelligenz zusteuert, braucht noch bindende Limits, Rechenregeln und Verifikation damit Fähigkeit die Kontrolle nicht überholt. Nutzen Sie die Umfrage, um Agenten, die Sie jetzt einsetzen, zu härten. Nutzen Sie den Vertragsweg, damit der Endzustand kein Agent ist, den niemand außer Kraft setzen kann. Vollständiges Papier: arXiv:2605.23989.