Ein gutes Jahr lokale KI im Produktivbetrieb, dazu ein Sommer intensiver Modelltests auf unserer DGX-Spark-Testmaschine – über die inzwischen mehr als ein dutzend Modellkandidaten gelaufen ist. Wenn man all das auf ein paar Sätze eindampfen will, bleibt vor allem eines hängen: Wer KI kauft, kauft nicht das, was in Bestenlisten oben steht, sondern das, was Deine Aufgabe löst. Und das weiß man erst, wenn man gemessen hat.
In dieser achten und letzten Folge unserer Reihe ziehen wir Bilanz. Wir schauen zurück auf das, was wir gelernt haben, und übersetzen es in etwas, das Dir konkret weiterhilft – ob Du gerade erst überlegst, ob lokale KI für Dich infrage kommt, oder ob Du schon mitten in der Auswahl stehst.
Lehre 1: Bestenlisten sagen nichts über Deine Aufgabe
Zwei Kandidaten, die groß angekündigt wurden, sind bei uns durchgefallen. Der Eine erfand in unseren Testfällen schlicht Zahlen, der andere war im Chat rund 200-mal langsamer als angegeben. Beides hat ein einziger Messtag ans Licht gebracht – mit unseren eigenen Fällen, auf unserer eigenen Hardware.
Das ist kein Ausreißer, sondern der Normalfall. Ein Benchmark sagt Dir, wie ein Modell unter Laborbedingungen auf fremden Aufgaben abschneidet. Er sagt Dir nicht, wie es sich bei Deinen Rechnungen, Deinen Belegen, Deinen Kundenanfragen verhält. Genau darum testen wir neue Modelle erst auf eigener Hardware, bevor sie zu Dir kommen – das ist bei uns Prinzip, nicht Marketing.
Lehre 2: Die Engine ist so wichtig wie das Modell
Ein Punkt, der in Diskussionen oft untergeht: Dasselbe Modell auf derselben Hardware kann in unterschiedlichen Laufzeitumgebungen völlig verschieden performen. In unseren Tests lag der Durchsatz je nach Engine um den Faktor drei auseinander.
Für Dich heißt das: Wenn Du ein Modell einkaufst, kaufst Du immer ein Gespann aus Modell und Engine. Wer nur auf den Modellnamen schaut, verschenkt einen erheblichen Teil der Leistung, für die er bezahlt hat.
Lehre 3: Agenten-Tauglichkeit ist messbar
Immer mehr Anbieter versprechen KI, die selbstständig Werkzeuge bedient, Bestellungen auslöst, Belege weiterverarbeitet. Klingt gut – ist aber nur so viel wert, wie es in Zahlen belegt ist. Wer KI-Agenten ohne Messwerte verkauft, verkauft Bauchgefühl.
Wir haben dafür einen eigenen Test entwickelt, in dem Modelle 29 typische Fallen bewältigen müssen: falsche Werkzeugnamen, widersprüchliche Parameter, abgebrochene Antworten. Was dabei herauskommt, ist keine Note, sondern eine Entscheidungsgrundlage.
Lehre 4: Halluzinationen sind kein Schicksal
Dass ein Modell gelegentlich Dinge erfindet, ist bekannt. Weniger bekannt ist, dass sich das erheblich beeinflussen lässt – durch die Architektur der Anwendung, durch die Art der Abfrage, durch den Aufbau der Wissensbasis, durch die Wahl des Modells für die jeweilige Aufgabe.
Kurz gesagt: Halluzinationen sind eine Mess- und Architekturfrage, keine unvermeidliche Eigenschaft von KI. Wer hier sauber arbeitet, bekommt deutlich verlässlichere Ergebnisse.
Lehre 5: Der Mensch bleibt in der Schleife
Bei uns ist das Prinzip: KI bereitet vor, der Mensch gibt frei. Von der Rechnungsprüfung über die Bestellvorbereitung bis zu diesen News – es gibt immer einen Punkt, an dem ein Mensch draufschaut, bevor etwas passiert.
Das ist keine Bremse, sondern der Grund, warum lokale KI im Mittelstand überhaupt funktioniert. Die Technik nimmt Arbeit ab, sie ersetzt aber nicht die Verantwortung.
Lehre 6: On-Premise ist die DSGVO-Abkürzung
Der vielleicht wichtigste Punkt für Unternehmen: Wenn Deine Kundendaten, Rechnungen und Chats das Haus nicht verlassen, hast Du mit Cloud-Anbietern, Auftragsverarbeitungsverträgen und Datenübermittlungen in Drittländer nichts zu tun.
On-Premise ist damit die einfachste Art, DSGVO-konform zu arbeiten – nicht als Kompromiss, sondern als Vorteil. Wie wir das im Alltag umsetzen, beschreiben wir in unserem Beitrag zur On-Premise-KI im Mittelstand. Immer wichtig dabei, ist das die Lokale KI dann aber auch nicht mit Kundendaten trainiert wird. Diese müssen vorher anonymisiert werden.
Was wir daraus als Angebot machen
Aus diesen Lehren ist bei uns ein Angebot geworden, das genau an dieser Stelle ansetzt:
- Hardware zum Anfassen: GB10-Workstations aus unserem Shop, mit Showroom in Recklinghausen – Du siehst die Geräte, bevor Du Dich entscheidest.
- Machbarkeits-Messung: Deine Fälle laufen auf unserer Testmaschine, Du bekommst das Ergebnis als Zahlen – Genauigkeit, Antwortzeit, Fehlerquote – bevor Du kaufst.
- Aufbau und Betrieb: Engine-Setup, Modell-Aliase, Monitoring und Modell-Updates mit Vergleichsmessung statt Blindflug.
Wer KI einführt, sollte das nicht nach Gefühl tun. Genau das ist die Botschaft dieser Reihe: Erst messen, dann entscheiden. Wer vorher testet, spart sich später die Enttäuschung.
Aktuelles rund um lokale KI
Lokale KI-Modelle im Vergleich: Warum wir bei Qwen3.6 bleiben
Wir haben unser Produktionsmodell Qwen3.6 mit einem Community-Destillat verglichen: Tempo auf dem DGX Spark und fünf echte Kundenfragen. Das Destillat ist langsamer und erfindet mehr.
weiterlesenTeam david Rollout 537: Mehrere Monitore, Schriften und Stabilität im Client
Das neue Rollout 537 für Team david bringt Verbesserungen für mehrere Monitore mit unterschiedlicher Skalierung, zuletzt verwendete Schriften im Editor und eine Reihe von Bugfixes. Wir fassen zusammen, was sich für Dich ändert.
weiterlesenEvolis Zenius 2: Ausweise und Karten selbst drucken
Der Evolis Zenius 2 druckt Mitarbeiterausweise, Zutrittskarten und Mitgliedskarten direkt im Betrieb. Bis zu 180 Farbkarten pro Stunde, 50 Karten im Einzug, Rewrite für wiederbeschreibbare Karten.
weiterlesenZebra DS8208-R und DS8288-R: Barcode und RFID in einem Handscanner
Die Zebra DS8208-R und DS8288-R scannen 1D/2D-Barcodes und lesen RFID-Tags. Wir zeigen Dir, welcher Handscanner zu Deinem Kassen- oder Lagerplatz passt und worauf Du bei der Auswahl achtest.
weiterlesenZebra TC201 im Praxis-Check: Mobiler Computer für Lager, Handel und Field Service
Der Zebra TC201 bringt Wi-Fi 7, Bluetooth 6.0 und optional 5G in den mobilen Arbeitsalltag. Was der neue Handheld bei Warenannahme, Inventur und Kommissionierung leistet und worauf Du bei der Konfiguration achtest.
weiterlesen