Das Modell kam zu dem Ergebnis, an Bord seien Komponenten für Atomwaffen. Die Einschätzung ging nach oben, das Militär hat bereits vorbereitet, das Schiff auf See zu entern. Gestoppt wurde die Sache erst, als ein Analyst die Kette nachgeprüft hat und gemerkt hat, dass es diese Verbindung so gar nie gab. Ein Mensch, der nochmal hingeschaut hat, zwischen einer Fehlanalyse und einem Zwischenfall mit China.
Hintergrund ist die „AI first"-Linie von Pete Hegseth, der die US-Armee stärker auf KI-gestützte Entscheidungen ausrichten will. Und ich versteh sogar, warum das reizvoll ist. So ein Modell geht in Minuten durch Datenmengen, für die ein Analystenteam Wochen braucht, und findet Muster, die sonst niemandem auffallen. Das ist wirklich bemerkenswert.
Nur kennt so ein Modell halt keinen Unterschied zwischen „das ist belegt" und „das passt statistisch gut zusammen". Ich arbeite täglich mit Claude Code und Codex CLI, zahle für Claude Max und einen GPT-Business-Plan, kenne also beide Ökosysteme aus dem Alltag und nicht aus Benchmarks. Beide erzählen mir gelegentlich mit voller Überzeugung von Funktionen, die es in einer Bibliothek nie gegeben hat. Man hört einer falschen Antwort einfach nicht an, dass sie falsch ist.
Bei mir kostet so ein Fehler halt zwanzig Minuten Suche und etwas Fluchen. In einer militärischen Kommandokette kostet er eher etwas anderes.
Was mich an der Debatte nervt, ist dieses Gequatsche von „der Mensch bleibt in der Schleife". Der Mensch bleibt nur so lange wirklich in der Schleife, wie er Zeit, Befugnis und Rückgrat hat, dem System zu widersprechen. Liegt ein Modell neunmal richtig, widerspricht beim zehnten Mal irgendwann keiner mehr. Diese Bequemlichkeit schleift sich ein, mit der Technik hat das dann gar nichts mehr zu tun. 🤔
Für mich läuft die Grenze da, wo eine Entscheidung nicht mehr zurückgenommen werden kann. Aufklärung, Priorisierung, Lagebilder sortieren, gerne. Den Befehl selbst muss jemand verantworten, der dafür auch geradesteht. Und genau dieselbe Frage stellt sich bei euch im Kleinen, wenn eine KI Bewerbungen vor sortiert oder Zahlen in eine Kalkulation schreibt.
Wo zieht ihr die Grenze? Und die ehrlichere Frage dahinter: Wann habt ihr das letzte Mal eine KI-Antwort wirklich gegengeprüft, statt sie einfach zu übernehmen? Schreibts gerne mal in die Kommentare.
Kommt gut durch die Woche! Gruß, Chris