KI spricht Code, nicht Klicks

KI-Modelle bestehen aus Text und werden mit Text trainiert, und Code ist Text. Deshalb sind sie so gut darin. Soll man Software so bedienen wie wir, also auf einen Bildschirm schauen und klicken, werden sie langsamer, teurer und unzuverlässiger, je länger die Aufgabe dauert.

Meine These: Software, deren Ergebnis Code ist, profitiert als Erstes voll von KI. Gibt man dem Modell eine Möglichkeit zu sehen, was sein Code erzeugt, kann es erstaunliche Arbeit leisten. Genau deshalb erwarte ich, dass mehr kreative Werkzeuge unter der Oberfläche zu Code werden.

Warum ist KI so gut im Programmieren?

Drei Gründe, und keiner davon ist Magie.

• Daraus haben die Modelle gelernt. Sprachmodelle werden mit riesigen Textmengen trainiert, und ein großer Teil des öffentlichen Internets besteht aus Code, Dokumentation und Diskussionen über Code.
• Code gibt Rückmeldung. Code läuft oder er läuft nicht. Tests bestehen oder scheitern. Ein Modell kann es versuchen, die Fehlermeldung lesen und es erneut versuchen. Bei einem vagen Ziel wie „mach die Folie schöner“ ist diese Schleife viel schwieriger.
• Code ist exakt und wiederholbar. Eine Änderung am Code ist ein Diff, den man lesen, prüfen und rückgängig machen kann. Derselbe Code liefert zweimal dasselbe Ergebnis.

Wie gut kann KI heute einen Computer bedienen?

Viel besser als vor zwei Jahren, und hier musste ich meine eigene Annahme korrigieren.

Als 2024 der Benchmark OSWorld für Computerbedienung erschien, schaffte das beste Modell 12 % der Desktop-Aufgaben, Menschen 72 %. Laut Paper scheiterten die Modelle vor allem daran, das Richtige auf dem Bildschirm zu finden und zu wissen, was damit zu tun ist. Ende 2026 liegen die besten selbst gemeldeten Werte auf dem bereinigten OSWorld-Verified zwischen 83 % und 86 %, also über diesem menschlichen Vergleichswert. Bei kurzen Aufgaben wie „ändere diese Einstellung“ oder „benenne diese Dateien um“ ist Klicken keine Schwachstelle mehr.

Lange Aufgaben sind etwas anderes. OSWorld 2.0, veröffentlicht im Juni 2026, besteht aus 108 Aufgaben, für die eine geübte Person im Median etwa 1,6 Stunden braucht. Die Agenten brauchen dafür rund 318 Aktionen pro Aufgabe, und das beste Modell hat nur 20,6 % davon vollständig gelöst. Das Paper beschreibt Agenten, die Vorgaben aus dem Blick verlieren, raten statt nachzufragen und ihre Arbeit nicht überprüfen.

Anthropics eigene Dokumentation für sein Computer-Use-Werkzeug sagt offen, warum. Es ist langsamer als ein Mensch, das Modell kann sich bei konkreten Bildschirmkoordinaten irren oder sie halluzinieren, Dropdowns und Scrollbalken sind „tricky“, und jeder Screenshot wird als Bildeingabe abgerechnet.

Das eigentliche Problem ist einfache Rechnung. Klappt jeder Schritt zu 99 %, gelingt eine Aufgabe mit 300 Schritten nur zu etwa 5 % (0,99 hoch 300). Wer sich durch einen langen Ablauf klickt, macht aus kleinen Fehlerquoten große Ausfälle.

Ist MCP nicht die Lösung?

Das Model Context Protocol, das Anthropic im November 2024 vorgestellt hat, lässt KI-Werkzeuge über definierte Funktionen mit Apps sprechen statt über den Bildschirm. Das hilft sehr, hat aber eigene Grenzen.

Erstens kann ein Agent nur tun, was die App freigibt. Das ist meine eigene Schlussfolgerung, kein Zitat eines Anbieters, aber sie folgt daraus, wie MCP funktioniert. Zweitens sind Werkzeuge teuer im Gepäck. Im November 2025 schrieb Anthropic, dass 58 Werkzeuge aus fünf MCP-Servern etwa 55.000 Tokens belegten, bevor das Gespräch überhaupt beginnt, und dass die häufigsten Fehler die Wahl des falschen Werkzeugs und falsche Parameter sind.

Am aufschlussreichsten ist Anthropics eigene Lösung. In einem Beitrag zu „Code Execution with MCP“ zeigte das Unternehmen einen Agenten, der Code schreibt, der die Werkzeuge aufruft, statt sie einzeln aufzurufen. Im Beispiel sank eine Aufgabe von Google Drive nach Salesforce von 150.000 auf 2.000 Tokens, eine Ersparnis von 98,7 %. Der beste Weg für eine KI, Werkzeuge zu nutzen, war also: Code schreiben.

Was passiert, wenn das Ergebnis Code ist?

Motion Graphics sind das deutlichste Beispiel, das ich kenne. Frameworks wie Remotion („Create videos & motion graphics with React“) und HyperFrames („Write HTML. Render video. Built for agents.“) beschreiben ein Video als Webseite mit Zeitleiste. Für eine KI ist das Heimspiel.

Der 15 Sekunden lange Clip unten ist für diesen Artikel genau so entstanden. Jedes Bild wird im Code aus der Zeit berechnet: 500 Partikel, die ein Wort bilden, 336 Kacheln in zwei sich überlagernden Wellen, eine Form, die vom Kreis zum Stern wird, und Balken, die auf die Benchmark-Zahlen aus diesem Artikel hochzählen. Eine KI hat die HTML-Komposition geschrieben, und automatische Prüfungen plus Standbilder wichtiger Momente haben vor dem Rendern bestätigt, dass der Text lesbar ist und sich nichts überlappt. 500 Partikel animiert niemand von Hand.

Der Prompt, wörtlich (auf Englisch gestellt):

Make a 15-second video that shows what code-driven animation can do, something you could only make with code. A line of code bursts into hundreds of particles that become the word MOTION, a grid of 336 tiles ripples with two interfering waves, a shape morphs from circle to star to blob, bars count up to real benchmark figures, and the title slams in letter by letter. Every frame is calculated from time, so nothing is hand-keyed.

Ich kann jeden Teil davon ändern, indem ich eine Zeile Text ändere, und die KI genauso.

Warum macht KI so gute Canva-Präsentationen?

Meine eigenen Präsentationen baue ich in Canva, und hier wird die Idee ganz praktisch. Eine KI kann ein komplettes Deck als Code schreiben, also HTML mit exakten Farben, Schriften und Layout, es dann rendern, ansehen und korrigieren, bevor man es überhaupt sieht. Diese Schleife aus Schreiben, Ansehen und Korrigieren funktioniert nur, weil das Ergebnis Code ist.

Die Werkzeuge sind inzwischen genau darauf ausgelegt. Decks aus Anthropics Claude Design lassen sich direkt an Canva schicken und sind dort laut Anthropic vollständig bearbeitbar und gemeinsam nutzbar. Und seit April 2026 kann Canva HTML importieren, das Claude erzeugt, und daraus ein Design machen, das man wie jedes andere bearbeitet.

Die KI macht also, was sie gut kann, Code schreiben und prüfen, und man bekommt eine ganz normale Canva-Präsentation, die man mit Kolleginnen und Kollegen von Hand anpassen kann. Dieses Muster wird sich meiner Meinung nach ausbreiten: Die KI arbeitet in Code, und das Werkzeug macht daraus etwas, das Menschen bearbeiten können.

Was erwarte ich?

• Kreative Software bekommt eine Code-Schicht. Import und Export als HTML, Skript-Schnittstellen, textbasierte Projektdateien. Werkzeuge, die so etwas haben, bekommen die KI-Funktionen zuerst.
• Office-Formate werden ummantelt, nicht ersetzt. Präsentiert wird weiter in PowerPoint, aber mehr Decks werden aus Code oder einer KI-Schicht erzeugt und am Ende als .pptx exportiert.
• „Augen“ zählen so viel wie „Hände“. Der Qualitätssprung kommt, wenn die KI rendern kann, was sie gebaut hat, es ansieht und korrigiert. Werkzeuge, die der KI einen schnellen Blick auf das eigene Ergebnis geben, werden viel klüger wirken als solche, in denen sie nur tippen darf.

Für alle, die im Job Software auswählen: Wenn KI bei etwas helfen soll, lohnt die Frage, ob sich diese Sache als Text schreiben lässt. Wenn ja, hat man Glück.

Was das für die Fähigkeiten bedeutet, die Menschen brauchen, habe ich in KI ersetzt Junior-Aufgaben, nicht Junior-Leute aufgeschrieben.