Ein neues Sprachmodell taucht in den Foren auf, die Modellkarte verspricht viel, und die Versuchung ist groß: Kurz austauschen, schneller und schlauer, fertig. Wir haben genau das am 9. November 2026 nüchtern gemessen. Verglichen haben wir unser Produktionsmodell mit einem Community-Destillat, und zwar mit echten anonymisierten Kundenfragen aus unserem Chat. Das Ergebnis ist eindeutig, aber anders, als die Modellkarte bzw. Hoffnung bei neuen Modellen vermuten lässt. Dieser Artikel zeigt, was wir gemessen haben und was du daraus für deinen eigenen Einsatz mitnehmen kannst.
Was wir verglichen haben
Bei uns laufen die KI-Modelle lokal auf einem NVIDIA DGX Spark (GB10, 128 GB Speicher), weil Kundenfragen und Produktdaten das Haus nicht verlassen sollen. Dort arbeitet unser Kundenchat „Karli“ auf karley.de. Er beantwortet Fragen zu Etikettendruckern, Verbrauchsmaterial und Störungen auf Basis unserer Wissensdatenbank (RAG). Der Systemprompt ist dabei groß: je nach Anfrage 33.000 bis 52.000 Zeichen inklusive Produktdaten. Dazu kommen interne Werkzeuge.
- Qwen3.6-35B-A3B: unser aktuelles Produktionsmodell. Ein Mixture-of-Experts-Modell mit 35 Milliarden Parametern, von denen nur 3 Milliarden pro Token aktiv sind, in NVFP4-Quantisierung.
- Qwen3.8-35B-A3B-Distill: ein Community-Destillat derselben Größenklasse, ebenfalls NVFP4. Die Quantisierung wurde ohne Kalibrierung erstellt, und laut Modellkarte wurde sie nur auf einer RTX 5070 Ti getestet, also nicht auf der Hardware, auf der wir sie betreiben würden.
Beide Modelle liefen mit vLLM v0.33.0 und identischen Flags, mit FP8-KV-Cache und 64k Kontext. Gleicher Server, gleiche Containerlage, gleicher Systemprompt. Nur so sind Zahlen überhaupt vergleichbar.
Tempo: das Destillat ist langsamer
Bei Chat-Anwendungen zählt vor allem, wie flott eine einzelne Antwort einläuft. Deshalb steht die einzelne Anfrage oben.
| Messung | Qwen3.6 | Distill | Unterschied |
|---|---|---|---|
| Durchsatz, einzelne Anfrage (tok/s) | 69,8 | 57,5 | −18 % |
| Durchsatz, 4 gleichzeitig (tok/s) | 177,4 | 155,3 | −12 % |
| Durchsatz, 8 gleichzeitig (tok/s) | 277,2 | 255,2 | −8 % |
| Erstes Token, neuer Prompt mit 6.106 Token | 0,66 s | 0,75 s | langsamer |
| Erstes Token, Präfix im Cache | 0,269 s | 0,298 s | langsamer |
| GPU-Speicher | 32,8 GiB | 32,6 GiB | gleich |
| Werkzeugaufrufe, Kurztest | 5 von 5 | 5 von 5 | gleich |
Wir haben die Messung nicht nur einmal gemacht. Die Werte vom 6. November mit der Vorgängerversion vLLM v0.32.0 liegen innerhalb der Streuung auf demselben Niveau (Distill 58,2 / 152,4 / 257,7 tok/s, Qwen3.6 70,8 / 178,8 / 281,1 tok/s). Das Ergebnis ist also reproduzierbar und kein Zufall eines einzelnen Laufs.
Die Lücke schrumpft, je mehr Anfragen parallel laufen. Für uns ist sie trotzdem die falsche Richtung: Im Chat wartet ein Mensch auf eine Antwort. Bei der einzelnen Anfrage liegt das Destillat um 18 Prozent zurück. Beim Speicherbedarf und bei einfachen Werkzeugaufrufen gibt es keinen Unterschied.
Qualität: fünf echte Kundenfragen
Ein Benchmark sagt nichts über deine Daten. Deshalb haben wir fünf echte, anonymisierte Kundenfragen aus dem Chat noch einmal abspielen lassen, mit identischem Systemprompt und identischer Wissensbasis, ohne Thinking-Modus und mit maximal 1.024 Token Antwort. Jedes Modell lief einmal pro Frage. Das ist eine Stichprobe und keine Statistik, aber sie zeigt Muster.
Bewertet haben wir nur drei Dinge: Ist es inhaltlich richtig? Ist nichts erfunden? Funktionieren die Links und passen sie zum genannten Produkt? Dafür haben wir jede genannte URL aufgerufen und den Seitentitel geprüft. Die Rechtschreibung haben wir bewusst nicht bewertet.
1. Drucker druckt keine Farbe, obwohl der Tintenstand ok ist
Beide Antworten sind brauchbar, hier liegen die Modelle gleichauf. Beide verlinken korrekt den passenden Ersatzdruckkopf.
2. „Habt ihr Etiketten für den Epson C6000?“
Das Destillat ist inhaltlich ausführlicher und nennt konkrete Rollen. Aber beide Produktlinks waren im Markdown zerschossen. Unser Link-Prüfer im Chat hat sie entfernt, der Kunde hätte leere Links gesehen. Eines der beiden Produkte passte außerdem nicht zur Beschreibung. Qwen3.6 antwortet kurz, mit einem funktionierenden Kategorielink.
3. Kunststoff-Rollenware ohne Kleber, 25 bis 35 mm
Der deutlichste Unterschied. Qwen3.6 sagt ehrlich, dass es dafür kein passendes Produkt gibt, verweist aufs Team und erfindet nichts. Das Destillat dagegen erfindet Anwendungen (Kabel-Sleeves, RFID-Applikatoren), nennt ein „Inkjet-Modul“ für Zebra-Thermotransferdrucker und ein Format, das es nicht gibt. Ein Link zeigt auf ein Etikett mit 76,2 × 50,8 mm, beschrieben ist es als 25,4 × 76,2 mm. Die Antwort wurde so lang, dass sie nach 1.024 Token mitten im Wort abbricht.
4. Servicemenü am VP750: Wiper-Rolle in Wechselposition fahren
Hier haben beide ein Problem mit sich selbst: Erst heißt es „gibt es nicht“, dann nennen sie doch den Menüpunkt „Service Station auswerfen“. Qwen3.6 hat die Reihenfolge aus der Wissensdatenbank richtig, nämlich erst auswählen, nicht bestätigen, das Frontpanel abschrauben und dann bestätigen, formuliert sie aber umständlich. Das Destillat nennt die falsche Reihenfolge und verallgemeinert ohne Beleg auf alle Modelle der Serie.
5. „Was bietet ihr bei Farbetikettendruckern?“
Beide Antworten sind gut und belegt, mit korrektem Kategorielink. Das Destillat listet Hersteller und Modelle plus Leasing, Miete und Inzahlungnahme auf. Qwen3.6 ordnet nach Drucktechnik (Pigment, Dye, LED/Toner) und fragt nach Branche und Menge. Wer sich einen Überblick wünscht, findet ihn auch auf unserer Seite zu Farbetikettendruckern.
Bilanz
Bei den Links gab es drei Fehler beim Destillat und keinen bei Qwen3.6. Erfundene Fakten kamen beim Destillat deutlich häufiger vor, vor allem bei Spezialfragen, bei denen die Wissensbasis keine direkte Antwort hergibt. Genau dort entscheidet sich im Kundenchat, ob eine Antwort hilft oder Schaden anrichtet.
Unsere Entscheidung
Wir bleiben bei Qwen3.6. Das Destillat ist langsamer und erfindet in Randfällen Dinge. Der einzige Vorteil, etwas ausführlichere Antworten, wiegt das nicht auf. Das Destillat ist damit verworfen.
Was du daraus mitnehmen kannst
- Benchmarks und Modellkarten ersetzen keine Messung mit eigenen Daten. Ein Modell, das auf einer anderen Grafikkarte getestet wurde, verhält sich auf deiner Hardware nicht zwingend gleich.
- Destillate und Community-Quantisierungen können Tempo und Treue kosten. Eine Quantisierung ohne Kalibrierung ist ein Warnsignal. Prüfe sie gegen das Original, bevor du sie einsetzt.
- Prüfe Links und Produkt-IDs aus der Wissensdatenbank automatisch. Ein Link-Prüfer im Chat hat bei uns verhindert, dass Kunden kaputte Links sehen. Er ist kein Ersatz für ein treues Modell, aber ein Sicherheitsnetz.
- „Wenig Phantasie“ ist im Kundenchat wichtiger als ausführliche Antworten. Ein Modell, das ehrlich sagt „dafür haben wir nichts, frag unser Team“, ist besser als eines, das plausibel klingende Produkte erfindet.
- Seriell zählt im Chat mehr als der Durchsatz unter Last. Ein Mensch wartet auf eine Antwort. Miss deshalb die einzelne Anfrage und die Zeit bis zum ersten Token.
- Vergleiche fair. Immer derselbe Systemprompt, dieselben Flags, dieselbe Containerlage, und nach Möglichkeit mehrere Messtage und Softwarestände, wie wir es mit den zwei vLLM-Versionen gemacht haben.
Grenzen unserer Messung
Fünf Fragen mit je einem Lauf sind eine Stichprobe. Sie reicht, um ein Modell aus dem Rennen zu nehmen, das bei Links und Fakten auffällt, aber nicht, um Prozentwerte für die Qualität zu nennen. Wir haben die Rechtschreibung nicht bewertet und auch den Thinking-Modus nicht getestet. Wer ein Modell für einen Kundenchat auswählt, sollte mit mehr Fragen aus dem eigenen Alltag nachlegen.
Mehr zu unserem KI-Einsatz
Viele Antworten rund um Etikettendrucker findest du auch direkt in der Karley Wissensdatenbank. Wenn du für dein Unternehmen lokale KI, Etikettendruck oder Auto-ID planst, sprich uns an: Wir zeigen dir gern, was in der Praxis funktioniert.