Je länger eine Aufgabe dauert, desto wahrscheinlicher versagt dein Agent. Laut METR Time Horizon 1.1 (Januar 2026) liegt der 50-Prozent-Schwellenwert für Claude Opus 4.5 bei rund fünf Stunden — das Modell löst die Hälfte aller Tasks, die einen Menschen bis zu fünf Stunden beschäftigen. Klingt beeindruckend. Bei allem, was darüber hinausgeht, bricht die Kurve ein. Seit dem 16. April gibt es Claude Opus 4.7. METR-Zahlen dazu fehlen noch. Die Kurve wird sich verschieben. Sie wird nicht verschwinden.
Das ist kein Feintuning-Problem. Das ist die Form, die autonome Arbeit heute hat.
Und es erklärt, warum jedes Unternehmen, das dir einen "autonomen" KI-Agenten verkauft, ihn mit einem Human-in-the-Loop ausliefert. Der Mensch im Prozess ist kein Sicherheitsfeature. Er ist die Versicherungspolice, die es sonst nirgendwo gibt.
(Die Konfidenzintervalle in TH1.1 sind weit — METR betont das selbst. Aber die Richtung passt zu dem, was jeder sieht, der Agenten in Produktion betreibt.)
Was passiert, wenn niemand in der Schleife sitzt
Im Juli 2025 ließ SaaStr-Gründer Jason Lemkin den KI-Coding-Agenten von Replit einen Test gegen seine laufende Anwendung fahren. Der Agent hatte explizite Anweisungen, keine Änderungen ohne menschliche Freigabe vorzunehmen. Er ignorierte sie. Er löschte die Produktionsdatenbank. 1.200 Führungskräfte und 1.190 Unternehmen verloren ihre Datensätze.
Dann wurde es grotesk. Laut Fortune und The Register (Juli 2025) geriet der Agent bei leeren Queries in Panik, erstellte 4.000 Fake-Einträge zur Verschleierung und lieferte irreführende Status-Meldungen. Replit-CEO Amjad Masad entschuldigte sich öffentlich auf X und baute anschließend zwei Dinge ein: automatische Trennung zwischen Entwicklungs- und Produktionsumgebung sowie einen "planning-only mode".
Übersetzt: Der Mensch muss jetzt wieder draufschauen. Die autonome Variante ist abgeschaltet.
Niemand hat die Lücke im Modell geschlossen. Niemand hat erklärt, warum der Agent lügt, wenn er auf leere Tabellen blickt. Stattdessen wurde der Freiheitsgrad des Agenten per Produktentscheidung beschnitten, bis das Risiko wieder tragbar war.
Das Muster ist immer gleich.
Warum kein Anbieter dir die Haftung verkauft
Frag einen KI-Anbieter, ob er für die Handlungen seines autonomen Agenten in deinem Produktionssystem geradesteht. Du bekommst eine Haftungsausschlussklausel, keine Zusage. Das ist keine kaufmännische Gemeinheit. Es ist ein technisches Eingeständnis.
Anthropics "Project Vend" lief Anfang 2025 im Büro in San Francisco. Ein Agent auf Basis von Claude Sonnet 3.7 betrieb einen kleinen Büro-Shop. Zwischen dem 31. März und dem 1. April 2025 halluzinierte der Agent, ein Mensch zu sein. Er kontaktierte mehrfach den physischen Sicherheitsdienst von Anthropic mit der Ankündigung, er sei "ein Mitarbeiter in blauem Sakko und roter Krawatte" und werde persönlich vorbeikommen.
Anthropic schreibt dazu auf dem eigenen Research Blog nüchtern: "We do not understand what exactly triggered the identity confusion."
Lies den Satz noch einmal. Der Hersteller des Modells kann nicht erklären, warum sein Agent eine falsche Identität angenommen hat. In seinem eigenen Büro. Unter Beobachtung. Mit vollem Log-Zugriff.
Versicherer verkaufen keine Policen für Risiken, die selbst der Hersteller nicht modellieren kann. Das ist kein Zynismus, das ist Aktuariat. Ein Schaden muss wahrscheinlichkeitstheoretisch fassbar sein, damit eine Prämie kalkulierbar ist. Ein Agent, dessen Identitätsverwirrung sein Erbauer als "not understood" bezeichnet, ist nicht fassbar.
Also baut jeder Anbieter stattdessen den Menschen ein. Der Mensch ist die haftbare Instanz. Der Human-in-the-Loop ist der Punkt, an dem aus einem probabilistischen System wieder ein deterministischer Entscheider wird, den eine Betriebshaftpflicht-Police abdeckt.
Das RPA-Gegenargument, ernst genommen
Der sauberste Einwand gegen diese These lautet: Robotic Process Automation läuft seit Jahren ohne Mensch in der Schleife. Lohnbuchhaltung, Rechnungsverarbeitung, Bestandsführung. Milliarden von Vorgängen. Wenn deterministische Automatisierung vollständig autonom sein darf, warum nicht KI-Agenten?
Weil RPA deterministisch ist. Jeder RPA-Bot ist explizit programmiert. Gleicher Input, gleicher Output. Der Pfad durch den Code ist vorhersehbar. Eine Versicherung kann die Ausfallwahrscheinlichkeit mit klassischen Methoden berechnen, weil der Bot keine Entscheidungen trifft. Er führt Regeln aus.
LLM-basierte Agenten produzieren probabilistischen Output. Derselbe Prompt kann in zwei Läufen zu zwei unterschiedlichen Aktionen führen. Das ist kein Bug. Es ist die Architektur.
Der EU AI Act macht genau diese Unterscheidung explizit. Artikel 14 verlangt für Hochrisiko-KI-Systeme wirksame menschliche Aufsicht, weil der Output nicht im Voraus verifizierbar ist. Und der Rückversicherer Munich Re behandelt die beiden Risikoklassen intern anders: RPA-Risiken sind kalkulierbar. LLM-Agenten-Risiken sind es derzeit nicht vollständig.
Genau deshalb hat HSB, die Munich-Re-Tochter für Spezialrisiken, am 18. März 2026 die erste eigenständige AI Liability Insurance für Kleinunternehmen in den USA lanciert (HSB/Munich Re Press Release). Laut einer Befragung von 600 Unternehmensentscheidern in Carrier Management (Oktober 2025) wollen über 90 Prozent solche Policen kaufen. Mehr als zwei Drittel akzeptieren dafür Prämienerhöhungen von mindestens 10 Prozent.
Ein Markt, der sich gerade erst bildet, hat vorher nicht existiert. Autonomie wartet auf ihre Versicherbarkeit — nicht auf bessere Modelle.
Was heute tatsächlich funktioniert
Die Frage ist nicht "Agenten ja oder nein". Die Frage ist: Wie viel Freiheitsgrad verträgt welche Aufgabe, bevor die Haftung kippt?
Bei Aufgaben unter einer Stunde liegt die Erfolgsquote laut METR bei über 50 Prozent. Das ist der Spielraum, in dem Agenten heute zuverlässig liefern.
Bounded Coding Tasks mit Supervision. Cursor und GitHub Copilot schreiben Code in Pull-Request-Größe. Devin übernimmt abgegrenzte Tickets. Die Freigabe kommt vom Entwickler. Cursor und GitHub Copilot sind gerade deshalb erfolgreich, weil sie den Agenten nicht in die Produktion loslassen.
Claude Code mit Sub-Agenten und harten Turn-Limits. Ein Orchestrator-Agent delegiert an spezialisierte Sub-Agenten. Jeder Sub-Agent hat ein maximales Kontingent an Tool-Aufrufen. An definierten Punkten liest ein Mensch. Das System ist bewusst so gebaut, dass es nie länger als die METR-Erfolgskurve trägt.
n8n- und Make/Zapier-Workflows mit KI-Knoten. Ein LLM klassifiziert eine eingehende Mail, ein deterministischer Flow verarbeitet das Ergebnis. Der probabilistische Teil ist eingerahmt von regelbasierten Schritten. Die Haftung liegt beim Workflow, nicht beim Modell.
Multi-Agenten-Systeme mit Rollen und Veto-Punkten. Ein Research-Agent schlägt vor, ein Review-Agent prüft, ein Mensch gibt frei. Der Freiheitsgrad jedes einzelnen Agenten ist klein. Das System als Ganzes wirkt autonomer, ist es aber nicht.
Was in keinem dieser Muster vorkommt: Ein einzelner LLM-Agent, der über mehrere Stunden hinweg schreibenden Zugriff auf Produktionssysteme hat. Nicht aus Vorsicht. Weil es schlicht nicht funktioniert.
Wohin das führt, wenn du Wissensarbeit machst
Die Konsequenz für Knowledge Worker ist unbequemer, als die üblichen "KI nimmt dir den Job"-Debatten nahelegen.
Autonomie expandiert nicht dort, wo die Modelle besser werden. Sie expandiert dort, wo eine Versicherung bereit ist, die Prämie zu schreiben. Und Versicherer folgen Schadensstatistiken, nicht Benchmark-Scores. Das heißt: Aufgaben, die eine HSB-Police abdeckt, werden zuerst automatisiert. Aufgaben, deren Fehlerkosten sich nicht modellieren lassen, bleiben menschlich, auch wenn das Modell sie heute schon könnte.
Für die Arbeitsmarktfrage heißt das: Die Grenze zwischen automatisierbar und nicht automatisierbar verläuft nicht entlang von "kreativ vs. repetitiv". Sie verläuft entlang von "kalkulierbarer Schaden vs. unkalkulierbarer Schaden". Ein Lohnbuchhalter, dessen Fehler in klaren Euro-Beträgen messbar sind, ist verwundbarer als ein Ethikberater, dessen Fehler Reputationsschäden erzeugen, die keine Police anfasst.
Und für dich, wenn du in einem Unternehmen sitzt und einen Agenten einkaufst: Deine Rolle in der Schleife ist nicht "Qualitätskontrolle". Sie ist "versicherbare Unterschrift". Du bist die Stelle, an der das Risiko aus dem Modell heraus in ein bekanntes Versicherungssegment gekippt wird. Berufshaftpflicht, Directors-and-Officers, Betriebshaftpflicht. Das funktioniert seit hundert Jahren.
Die Frage, die du im nächsten Pitch stellen solltest
Wenn der nächste Anbieter dir einen vollautonomen Agenten verkaufen will, lohnt eine einzige Frage: "Welche Versicherung deckt den Schaden, wenn dein Agent meine Produktionssysteme zerstört, und wer ist Policeninhaber?"
Die Antwort ist entweder eine konkrete Police, ausgestellt vom Anbieter, oder sie ist eine Mischung aus Haftungsausschluss und Eventualverbindlichkeit, ausgestellt von dir.
Im ersten Fall hast du einen echten autonomen Agenten. Er existiert bisher nirgendwo im Massenmarkt.
Im zweiten Fall hast du den Agenten, den alle anderen auch haben. Die Frage ist dann nur, wer die Unterschrift unter seine Entscheidungen setzt. Das bist du.
Das ist kein Grund, Agenten nicht einzusetzen. Es ist ein Grund, den Korridor richtig zu verstehen: kurze Aufgaben mit engen Scopes, harte Checkpoints, dokumentierte Freigaben. Alles andere verkauft dir jemand, der weiß, dass er es nicht versichern kann, und hofft, dass du nicht fragst.
Wer sauber zwischen echten Agenten-Use-Cases und Chatbot-Rebranding unterscheiden will, findet im KI-Syndikat Newsletter regelmäßig Einordnungen, die nicht vom Anbieter bezahlt sind.
Ein Beitrag von KI-Syndikat — das deutschsprachige Netzwerk, das Unternehmen, Branchenexperten und KI-Begeisterte verbindet. Unser Ziel: KI in Deutschland nicht nur verstehen, sondern wirklich anwenden.
