DGX-Spark-Serie 8: KI kaufen heißt messen lernen – unser Fazit aus einem Sommer Modelltests

Ein gutes Jahr lokale KI im Produktivbetrieb, dazu ein Sommer intensiver Modelltests auf unserer DGX-Spark-Testmaschine – über die inzwischen mehr als ein dutzend Modellkandidaten gelaufen ist. Wenn man all das auf ein paar Sätze eindampfen will, bleibt vor allem eines hängen: Wer KI kauft, kauft nicht das, was in Bestenlisten oben steht, sondern das, was Deine Aufgabe löst. Und das weiß man erst, wenn man gemessen hat.

In dieser achten und letzten Folge unserer Reihe ziehen wir Bilanz. Wir schauen zurück auf das, was wir gelernt haben, und übersetzen es in etwas, das Dir konkret weiterhilft – ob Du gerade erst überlegst, ob lokale KI für Dich infrage kommt, oder ob Du schon mitten in der Auswahl stehst.

Lehre 1: Bestenlisten sagen nichts über Deine Aufgabe

Zwei Kandidaten, die groß angekündigt wurden, sind bei uns durchgefallen. Der Eine erfand in unseren Testfällen schlicht Zahlen, der andere war im Chat rund 200-mal langsamer als angegeben. Beides hat ein einziger Messtag ans Licht gebracht – mit unseren eigenen Fällen, auf unserer eigenen Hardware.

Das ist kein Ausreißer, sondern der Normalfall. Ein Benchmark sagt Dir, wie ein Modell unter Laborbedingungen auf fremden Aufgaben abschneidet. Er sagt Dir nicht, wie es sich bei Deinen Rechnungen, Deinen Belegen, Deinen Kundenanfragen verhält. Genau darum testen wir neue Modelle erst auf eigener Hardware, bevor sie zu Dir kommen – das ist bei uns Prinzip, nicht Marketing.

Lehre 2: Die Engine ist so wichtig wie das Modell

Ein Punkt, der in Diskussionen oft untergeht: Dasselbe Modell auf derselben Hardware kann in unterschiedlichen Laufzeitumgebungen völlig verschieden performen. In unseren Tests lag der Durchsatz je nach Engine um den Faktor drei auseinander.

Für Dich heißt das: Wenn Du ein Modell einkaufst, kaufst Du immer ein Gespann aus Modell und Engine. Wer nur auf den Modellnamen schaut, verschenkt einen erheblichen Teil der Leistung, für die er bezahlt hat.

Lehre 3: Agenten-Tauglichkeit ist messbar

Immer mehr Anbieter versprechen KI, die selbstständig Werkzeuge bedient, Bestellungen auslöst, Belege weiterverarbeitet. Klingt gut – ist aber nur so viel wert, wie es in Zahlen belegt ist. Wer KI-Agenten ohne Messwerte verkauft, verkauft Bauchgefühl.

Wir haben dafür einen eigenen Test entwickelt, in dem Modelle 29 typische Fallen bewältigen müssen: falsche Werkzeugnamen, widersprüchliche Parameter, abgebrochene Antworten. Was dabei herauskommt, ist keine Note, sondern eine Entscheidungsgrundlage.

Lehre 4: Halluzinationen sind kein Schicksal

Dass ein Modell gelegentlich Dinge erfindet, ist bekannt. Weniger bekannt ist, dass sich das erheblich beeinflussen lässt – durch die Architektur der Anwendung, durch die Art der Abfrage, durch den Aufbau der Wissensbasis, durch die Wahl des Modells für die jeweilige Aufgabe.

Kurz gesagt: Halluzinationen sind eine Mess- und Architekturfrage, keine unvermeidliche Eigenschaft von KI. Wer hier sauber arbeitet, bekommt deutlich verlässlichere Ergebnisse.

Lehre 5: Der Mensch bleibt in der Schleife

Bei uns ist das Prinzip: KI bereitet vor, der Mensch gibt frei. Von der Rechnungsprüfung über die Bestellvorbereitung bis zu diesen News – es gibt immer einen Punkt, an dem ein Mensch draufschaut, bevor etwas passiert.

Das ist keine Bremse, sondern der Grund, warum lokale KI im Mittelstand überhaupt funktioniert. Die Technik nimmt Arbeit ab, sie ersetzt aber nicht die Verantwortung.

Lehre 6: On-Premise ist die DSGVO-Abkürzung

Der vielleicht wichtigste Punkt für Unternehmen: Wenn Deine Kundendaten, Rechnungen und Chats das Haus nicht verlassen, hast Du mit Cloud-Anbietern, Auftragsverarbeitungsverträgen und Datenübermittlungen in Drittländer nichts zu tun.

On-Premise ist damit die einfachste Art, DSGVO-konform zu arbeiten – nicht als Kompromiss, sondern als Vorteil. Wie wir das im Alltag umsetzen, beschreiben wir in unserem Beitrag zur On-Premise-KI im Mittelstand. Immer wichtig dabei, ist das die Lokale KI dann aber auch nicht mit Kundendaten trainiert wird. Diese müssen vorher anonymisiert werden.

Was wir daraus als Angebot machen

Aus diesen Lehren ist bei uns ein Angebot geworden, das genau an dieser Stelle ansetzt:

• Hardware zum Anfassen: GB10-Workstations aus unserem Shop, mit Showroom in Recklinghausen – Du siehst die Geräte, bevor Du Dich entscheidest.
• Machbarkeits-Messung: Deine Fälle laufen auf unserer Testmaschine, Du bekommst das Ergebnis als Zahlen – Genauigkeit, Antwortzeit, Fehlerquote – bevor Du kaufst.
• Aufbau und Betrieb: Engine-Setup, Modell-Aliase, Monitoring und Modell-Updates mit Vergleichsmessung statt Blindflug.

Wer KI einführt, sollte das nicht nach Gefühl tun. Genau das ist die Botschaft dieser Reihe: Erst messen, dann entscheiden. Wer vorher testet, spart sich später die Enttäuschung.

Aktuelles rund um lokale KI