LAB · Teil 1
Schlägt eine Grafikkarte Claude Fable 5? Wir haben es gemessen.
Schlägt eine Grafikkarte in meinem Büro Claude Fable 5?
Das ist keine rhetorische Frage. Ich wusste es vorher nicht. Claude Fable 5 ist das stärkste Modell, das man heute mieten kann. Auf der anderen Seite steht ein Modell, das jeder gratis herunterladen darf, auf einer Grafikkarte, die in einen normalen Rechner passt. Also habe ich beide dieselbe Arbeit machen lassen — die Arbeit, die in unserer Firma täglich anfällt.
Worum es ging: unsere Buchhaltung, keine Prüfungsaufgaben
Die meisten Vergleiche von KI-Modellen laufen auf Testfragen, die man auswendig lernen kann. Mich interessiert etwas anderes: Was passiert mit echten Dokumenten? Darum lief der Test auf unseren eigenen Live-Daten — so, wie sie im Postfach und im Scanner ankommen:
- Post sortieren: 100 echte E-Mails in die richtige Schublade legen (Rechnung, Zahlung, Behörde, Werbung …).
- Felder herauslesen: aus 20 echten Geschäftsdokumenten Betrag, Datum, Absender, Referenz — jedes Feld muss exakt stimmen.
- Fragen ans Archiv: 10 Fragen, die wir uns wirklich stellen («Wann haben wir das zuletzt bezahlt?»), beantwortet aus dem Dokumentenberg.
- Gültiges Format: Gibt das Modell die Antwort so zurück, dass ein Programm sie ohne Nacharbeit weiterverarbeiten kann?
- Scans lesen: gescannte Papierdokumente abtippen, Zeichen für Zeichen.
Jede erwartete Antwort haben wir von Hand geprüft, bevor gezählt wurde. Jede Aufgabe lief dreimal, gewertet wurde die Mehrheitsantwort. Die Spielregeln — welche Disziplin wie viel zählt — waren festgelegt, bevor das erste Resultat da war. Das ist wichtig, sonst biegt man sich die Gewichte nachträglich zurecht.
Die beiden Kandidaten
Die Grafikkarte: eine einzige Karte mit 32 GB Speicher in einem Rechner bei uns. Darauf läuft Qwen 3.8 mit 27 Milliarden Parametern — ein offenes Modell (Apache-Lizenz), 18 GB Download, am 14. August erschienen. Es verlässt das Haus nie. Kein Dokument geht nach draussen.
Die Cloud: Claude Fable 5 von Anthropic über die offizielle Schnittstelle, mit denselben Anweisungen und denselben Dokumenten. Zum Vergleich liefen auch Claude Opus 5 und Claude Haiku 4.5 mit.
Gleiche Aufgaben, gleiche Anweisungen, gleiche Dokumente. Nur das Modell wechselt.
Das Resultat
| Disziplin | Grafikkarte (Qwen 3.8) | Claude Fable 5 | Wer gewinnt |
|---|---|---|---|
| Post sortieren (Trefferquote) | 92,0 % | 86,0 % | Grafikkarte |
| Felder herauslesen | 97,0 % | 95,6 % | Grafikkarte |
| Fragen ans Archiv | 95 % | 100 % | Cloud |
| Gültiges Format | 100 % | 99,2 % | Grafikkarte |
| Scans lesen | 92,9 % | 85,3 % | Grafikkarte |
| Antwortzeit, typisch | 1,3 s | 5,3 s | Grafikkarte |
| Kosten für den ganzen Durchlauf | 0 Fr. | 9.34 $ (rund 8 Fr.) | Grafikkarte |
4 von 5 Qualitäts-Disziplinen gehen an die Grafikkarte. Bei den Fragen ans Archiv war die Cloud besser — dort ging es um Formulieren, und da ist das grosse Modell im Vorteil.
Auf 1000 Dokumente gerechnet: Die Cloud kostet rund 18 Dollar. Die Grafikkarte kostet Strom. Und sie war dabei nicht langsamer, sondern schneller: Eine typische Antwort kam nach 1,3 Sekunden statt nach 5,3.
Die Haken — und zwar alle
Ich will, dass du diesem Resultat traust. Darum hier, was dagegen spricht:
- Es ist unser Fall mit unseren Daten. 100 Mails, 20 Dokumente, 10 Fragen, 3 Scans. Das ist klein. Es ist klein, weil wir jede Antwort von Hand geprüft haben — Tausende ungeprüfte Beispiele hätten mehr Eindruck gemacht, aber nichts bewiesen. Besonders das Scan-Lesen mit nur 3 Dokumenten ist eher ein Hinweis als ein Beweis.
- Die Grafikkarte lief im «Nachdenk-Modus». Das Modell überlegt kurz, bevor es antwortet. Ohne diesen Modus gewinnt es nur 3 von 5 Disziplinen (Post sortieren fällt auf 84 %, Fragen ans Archiv auf 90 %) — antwortet dafür in 0,4 Sekunden, und der ganze Durchlauf ist in 9 Minuten erledigt. Mit Nachdenken dauerte der ganze Durchlauf 46 Minuten; die Cloud brauchte 33. Auf die einzelne Antwort war die Grafikkarte schneller, auf den ganzen Stapel war es die Cloud.
- Claude Opus 5 war beim Post-Sortieren das beste Modell überhaupt (93 %). Und Claude Haiku 4.5 war das schnellste im Durchsatz. Die Cloud hat nicht verloren — sie ist einfach nicht nötig für diese Arbeit.
- Die Anweisungen waren eingefroren. Wir haben keines der Modelle speziell gecoacht. Mit Feinarbeit an den Anweisungen würden vermutlich alle besser — das Verhältnis bliebe ähnlich, aber ich habe es nicht gemessen.
- Die Grafikkarte muss man kaufen und betreiben. Wer 50 Dokumente im Monat hat, fährt mit der Cloud günstiger. Ab ein paar tausend Dokumenten im Monat kippt die Rechnung.
Was das für deine Firma heisst
Die Aufgaben oben sind keine Spezialfälle. Post sortieren, Rechnungen auslesen, Zahlungen zuordnen, Dokumente ablegen — das ist die tägliche Büroarbeit, die in jeder Firma liegen bleibt. Und dafür reicht heute ein offenes Modell auf einer Grafikkarte, die bei dir im Schrank steht.
Was du damit gewinnst:
- Deine Dokumente bleiben im Haus. Keine Kundendaten, keine Löhne, keine Verträge gehen an einen Anbieter im Ausland.
- Der Preis pro Dokument fällt auf null. Keine Rechnung, die mit jedem Scan wächst.
- Du bist nicht abhängig davon, was ein Anbieter nächstes Jahr kostet oder abschaltet.
Das Resultat hier ist kein Wunder, es ist Fleissarbeit: die richtigen Aufgaben auswählen, Antworten von Hand prüfen, dann erst entscheiden. Genau das mache ich mit dir, wenn du wissen willst, ob das bei dir auch geht. Die Messreihe läuft weiter — jedes neue Modell kommt durch denselben Test. Ich begleite dich gerne zu diesem Resultat.
Zur Methode: Die Gewichtung (Qualität 70, Geschwindigkeit 20, Platzbedarf/Kosten 10) war vor dem ersten Durchlauf festgelegt. Jede Aufgabe lief dreimal, gezählt wurde die Mehrheitsantwort, alle erwarteten Antworten sind von Hand geprüft. Geschwindigkeit ist serverseitig gemessen, also ohne Netzwerkanteil. Die Dokumente sind echt und bleiben privat; hier stehen nur Summen.