Stell Dir vor, Du fragst Dein System: „Wie hoch war unser Umsatz im Juli?“ Und statt einer Antwort bekommst Du eine erfundene Zahl – mit einer Artikelnummer, die es gar nicht gibt. Genau das ist passiert. Nicht in einem Labor, sondern in unserem eigenen Werkzeugtest. Und genau deshalb reicht es nicht, ein Modell zu kaufen, weil es in einer Bestenliste oben steht.
Ein KI-Agent ist mehr als ein Textgenerator. Er soll im richtigen Moment die richtige Datenbankabfrage auslösen, die richtige Suche starten, den richtigen Ablauf wählen. Ob er das zuverlässig tut, ist keine Glaubensfrage. Es ist eine Messfrage. Wir haben dafür einen eigenen Test gebaut, der auf unserer DGX-Spark-Maschine gegen die echten Auswertungswerkzeuge unseres Warenwirtschaftssystems läuft.
Was ein Agent können muss – und was nicht
Ein Modell, das nur schön formuliert, ist kein Agent. Es wird erst dann nützlich, wenn es erkennt: Diese Frage beantworte ich nicht selbst, sondern ich rufe ein Werkzeug auf. Klingt einfach, ist es nicht. Denn die eigentliche Schwierigkeit liegt nicht im Rechnen, sondern in der Auswahl.
- Direktwahl: Bei „Wie hoch war unser Umsatz im Juli?“ muss das Modell das Umsatz-Werkzeug nehmen – nicht selbst herumrechnen.
- Verwechslungsfallen: Einzelkunde oder Gesamtfirma? Einkauf oder Verkauf? Rangliste oder Einzelwert? Ähnlich klingende Werkzeuge, nur eines ist richtig.
- Mehrstufige Ketten: Erst den Kunden per Name suchen, dann mit der gefundenen Nummer den Umsatz holen. Die Nummer zu raten ist der Klassiker unter den KI-Fehlern.
- Ehrlichkeit: Bei „Wie wird das Wetter morgen?“ muss das Modell passen – nicht ein Werkzeug erfinden, das es nicht gibt.
- Keine Ausreden: Wenn kein Werkzeug aufgerufen wird, darf trotzdem keine Antwort erfunden werden.
29 Fallen statt einer freundlichen Demo
Eine Demo zeigt, was ein Modell im besten Fall kann. Ein Test zeigt, was es im schlechtesten Fall tut. Deshalb haben wir bewusst Fallen eingebaut: Fragen, die oberflächlich gleich klingen, aber unterschiedliche Werkzeuge verlangen. Fragen mit Zwischenschritten. Fragen, bei denen die einzig richtige Antwort lautet: „Dafür habe ich kein Werkzeug.“
Genau daran ist ein Kandidat spektakulär gescheitert. Statt zuzugeben, dass ihm das passende Werkzeug fehlt, erfand er komplette Verkaufszahlen samt Artikelnummern. Für ein Unternehmen ist das der gefährlichste Fehler überhaupt – nicht weil er laut ist, sondern weil er plausibel aussieht.
Was wir konkret messen
- Wie oft wird das richtige Werkzeug gewählt?
- Wie oft wird eine mehrstufige Kette korrekt abgearbeitet?
- Wie oft wird ehrlich gepasst, statt zu raten?
- Wie verändert sich das Ergebnis, wenn mehrere Anfragen gleichzeitig laufen?
- Wie stark schwankt die Antwortzeit je Schritt?
Die Zahlen, die wirklich zählen
Unser Produktivmodell erreicht 98,9 Prozent korrekte Werkzeugwahl über 87 Testdurchläufe. Das ist kein Marketingwert, das ist ein Messwert. Der spannendste Nebenbefund: Schaltet man den Nachdenk-Modus des Modells ein, steigt die Quote von rund 90 auf praktisch 100 Prozent – für den Preis von etwa einer auf drei Sekunden je Schritt.
Solche Stellschrauben findest Du nur durch Messen, nicht durch Lesen. Genau hier entscheidet sich, ob Dein KI-Projekt wirtschaftlich wird. Ein Modell, das doppelt so schnell antwortet, aber in einem Viertel der Fälle leer bleibt oder Werkzeugnamen erfindet, ist im Echtbetrieb teurer als das langsamere, das zuverlässig arbeitet. Und wenn die Leistung an eine Grenze stößt, lässt sich unsere Testmaschine per Kabel mit einer zweiten verbinden – auch das ist eine Frage, die man vorher beantworten kann, nicht nachher.
Warum Du das vor dem Projekt wissen willst
Agentische KI ist messbar. Wer Dir einen KI-Agenten verkauft, ohne Dir solche Zahlen zu zeigen, verkauft Dir ein Bauchgefühl. Der Unterschied liegt nicht in der Präsentation, sondern in der Methodik: feste Testfälle, gleiche Bedingungen, vergleichbare Ergebnisse.
Wenn Du wissen willst, wie Dein Modell auf Deine Aufgaben reagiert, kannst Du das testen lassen – auf unserer Maschine, mit Deinen Fällen. Du erhältst eine Empfehlung mit konkreten Zahlen: welches Modell, welche Hardware, welche Antwortzeiten, welche Fehlerquote. So weißt Du vor der Investition, ob sich Dein Vorhaben lohnt. Wie wir dabei grundsätzlich vorgehen, beschreiben wir in KI-Modellwahl: Warum wir testen statt raten, und was das für Deine IT bedeutet, liest Du in KI im eigenen Haus: Warum feste Kosten langfristig günstiger sind.
Du willst nicht nur wissen, ob Dein Modell Werkzeuge bedient, sondern auch, ob es auf Deiner Hardware läuft? Wir zeigen Dir die Testmaschine im Einsatz und führen sie Dir im Showroom in Recklinghausen nach Termin vor. Und wenn Du unsicher bist, ob sich der Aufwand lohnt, drucken wir Dir gern eine Musterauswertung Deiner eigenen Fälle – teste zuerst, entscheide später.
Aktuelles rund um KI & Automatisierung
Lokale KI-Modelle im Vergleich: Warum wir bei Qwen3.6 bleiben
Wir haben unser Produktionsmodell Qwen3.6 mit einem Community-Destillat verglichen: Tempo auf dem DGX Spark und fünf echte Kundenfragen. Das Destillat ist langsamer und erfindet mehr.
weiterlesenTeam david Rollout 537: Mehrere Monitore, Schriften und Stabilität im Client
Das neue Rollout 537 für Team david bringt Verbesserungen für mehrere Monitore mit unterschiedlicher Skalierung, zuletzt verwendete Schriften im Editor und eine Reihe von Bugfixes. Wir fassen zusammen, was sich für Dich ändert.
weiterlesenEvolis Zenius 2: Ausweise und Karten selbst drucken
Der Evolis Zenius 2 druckt Mitarbeiterausweise, Zutrittskarten und Mitgliedskarten direkt im Betrieb. Bis zu 180 Farbkarten pro Stunde, 50 Karten im Einzug, Rewrite für wiederbeschreibbare Karten.
weiterlesenZebra DS8208-R und DS8288-R: Barcode und RFID in einem Handscanner
Die Zebra DS8208-R und DS8288-R scannen 1D/2D-Barcodes und lesen RFID-Tags. Wir zeigen Dir, welcher Handscanner zu Deinem Kassen- oder Lagerplatz passt und worauf Du bei der Auswahl achtest.
weiterlesenZebra TC201 im Praxis-Check: Mobiler Computer für Lager, Handel und Field Service
Der Zebra TC201 bringt Wi-Fi 7, Bluetooth 6.0 und optional 5G in den mobilen Arbeitsalltag. Was der neue Handheld bei Warenannahme, Inventur und Kommissionierung leistet und worauf Du bei der Konfiguration achtest.
weiterlesen