Vor kurzem saßen wir mit einem Kunden aus der chemischen Analytik zusammen. Er hatte ein Problem, das viele haben: In seinen Systemen liegen Jahre an Messwerten, Protokollen und Auswertungen. Nutzbar sind die Daten, aber sie zu befragen dauert. Also wollte er KI daraufsetzen.

Zwei Angebote, beide unbefriedigend

Auf dem Tisch lagen zwei Wege:

Weg eins: die Lösung vom Software-Hersteller. Dieselbe Firma, deren Analyse-Software er ohnehin einsetzt, bot ein fertiges Paket an — rund 80.000 Euro. Dafür bekommt man eine Appliance mit etwa 100 GB Arbeitsspeicher und ein paar Xeon-Prozessoren. Also: viel Blech, kein Grafikprozessor, geschlossenes System. Jede Erweiterung läuft wieder über den Hersteller.

Weg zwei: Cloud-KI über eine API. Für die eher einfachen Abfragen, die er im Alltag braucht, kalkulierte er rund 1.600 Euro im Monat. Das sind gut 19.000 Euro im Jahr — jedes Jahr, ohne dass ihm hinterher etwas gehört. Und: Seine Analysedaten hätten dafür das Haus verlassen müssen.

Der dritte Weg

Unser Kunde bringt selbst Programmierkenntnisse mit. Wir haben ihm einen kompakten KI-Rechner mit Grace-Blackwell-Technik geliefert und ihm gezeigt, wie man Sprachmodelle darauf produktiv betreibt — mit denselben Mustern, die wir bei uns im Haus fahren. Seitdem laufen seine Auswertungen auf seiner eigenen Hardware, in seinem eigenen Netz.

Die Rechnung dahinter ist unspektakulär und genau deshalb überzeugend: Die Anschaffung liegt im niedrigen vierstelligen Bereich. Gegen 1.600 Euro Cloud-Kosten im Monat ist das Gerät nach gut drei Monaten bezahlt. Gegen die 80.000-Euro-Appliance kannst du dir den Vergleich selbst ausrechnen.

Warum so eine kleine Kiste überhaupt reicht

Der entscheidende Punkt ist nicht die Rechenleistung auf dem Datenblatt, sondern der Speicher. Der Rechner hat 128 GB Unified Memory — Prozessor und Grafikeinheit teilen sich denselben Speicher. Damit passt ein großes Sprachmodell komplett hinein, ohne dass ständig Daten hin- und hergeschoben werden.

Dazu kommt die Modellarchitektur. Moderne Mixture-of-Experts-Modelle haben zwar 30 oder 35 Milliarden Parameter, aktivieren pro Token aber nur einen Bruchteil davon. Das Ergebnis auf dieser Hardware: Antworten beginnen in etwa einer Zehntelsekunde, das Modell schreibt rund 70 Token pro Sekunde, und mehrere Anfragen parallel bringen es nicht ins Schwitzen. Eine reine CPU-Appliance kann da strukturell nicht mithalten — egal wie viele Xeons drinstecken.

Wer die Hardware im Detail sehen will: Wir führen sie als Super-KI-Workstation mit GB10 und 128 GB im Shop, und wir haben sie hier im Detail vorgestellt.

Datenschutz ist hier kein Beiwerk, sondern die halbe Miete

Bei Analysedaten aus der Chemie geht es um Rezepturen, Chargen, Kundenaufträge. Sobald die zu einem Cloud-Anbieter gehen, brauchst du einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO, eine dokumentierte Rechtsgrundlage, Klarheit über Speicherort und Subunternehmer — und ein belastbares Nein zur Frage, ob mit deinen Daten trainiert wird. Seit der EU AI Act zusätzlich greift, kommen Transparenz-, Dokumentations- und Schulungspflichten obendrauf.

Wenn das Modell auf deiner eigenen Maschine läuft, fällt der große Teil dieser Fragen einfach weg. Es gibt keine Übermittlung, kein fremdes Training, keinen Anbieter, der seine Nutzungsbedingungen ändern kann. Die Daten bleiben da, wo sie ohnehin schon liegen. Das ersetzt keine saubere Dokumentation — aber es macht sie deutlich kürzer.

Das eigentliche Kunststück: das richtige Modell

Hardware kaufen kann jeder. Die Arbeit fängt danach an. Welches Modell passt zu deiner Aufgabe? Reicht ein kleines, schnelles Modell für die Klassifikation, oder brauchst du eines, das wirklich rechnen und begründen kann? Und woher weißt du, dass es nicht einfach etwas erfindet?

Wir raten das nicht — wir messen es. Bei uns steht ein eigenes Vergleichswerkzeug, mit dem wir Modelle gegen echte Fälle antreten lassen: Rechnungsprüfung gegen Bestellungen, Erkennung von Lieferantenabweichungen, Bestellungen aus E-Mails und PDFs herausziehen, Übersetzungen, Textgenerierung, OCR auf schlecht gescannten Belegen. Dazu Chat-Fälle gegen unsere eigene Wissensdatenbank und ein agentischer Test, der prüft, ob ein Modell Werkzeuge korrekt aufruft — und ob es ehrlich „das kann ich nicht“ sagt, statt etwas zu halluzinieren.

Wie ernst das gemeint ist, zeigt der letzte Durchlauf: Ein neuer, viel beworbener Kandidat ist bei uns durchgefallen. Er war rund sechsmal langsamer pro Token, lieferte unter Last kaum Durchsatz, gab in einem Viertel der Fälle leere Antworten zurück und erfand im Werkzeugtest Funktionsnamen, die es gar nicht gibt. Ergebnis: verworfen, das bestehende Modell bleibt. Genau diese Art von Test sparst du dir, wenn du sie mit uns einmal machst — statt sie im Produktivbetrieb zu erleben.

Wo lokale KI nicht die Antwort ist

Eine eigene Maschine ist kein Selbstzweck. Wenn du KI nur gelegentlich für allgemeine Texte brauchst, ist ein Cloud-Abo günstiger und einfacher. Die größten Modelle der Welt laufen weiterhin in Rechenzentren, nicht auf deinem Schreibtisch. Und jemand muss das Gerät betreuen — Updates, Modellwechsel, Monitoring.

Interessant wird lokal genau dann, wenn eines davon zutrifft: Die Daten dürfen das Haus nicht verlassen. Die Nutzung ist regelmäßig statt gelegentlich. Oder du willst die Lösung selbst weiterentwickeln, ohne bei jedem Schritt einen Hersteller zu fragen.

Wie wir das mit dir machen

Wir sind kein Hardware-Versender, der eine Kiste schickt und dir viel Glück wünscht. Der Ablauf sieht bei uns so aus:

Anwendungsfall schärfen. Was genau soll die KI tun — und woran würdest du merken, dass sie es gut tut?
Machbarkeit prüfen. Wir schauen uns deine Datenlage an: Wo liegt was, in welchem Format, wie kommt man dran?
Modelle testen. Mit deinen echten Fällen, nicht mit Marketing-Beispielen. Am Ende steht eine Empfehlung mit Zahlen dahinter.
Aufsetzen und übergeben. Hardware, Modellbetrieb, Anbindung an deine Systeme. Auf Wunsch so, dass dein eigenes Team weiterarbeiten kann.

Wie das im Alltag aussieht, kannst du bei uns selbst nachlesen — wir setzen dieselbe Technik im eigenen Haus ein, von der Produktberatung auf der Website bis zur Rechnungsprüfung im ERP.

Du hast auch so einen Datenberg?

Dann lass uns darüber reden, bevor du ein Angebot mit fünf Nullen unterschreibst. Wir schauen uns deinen Fall an, sagen dir ehrlich, ob lokale KI passt, und testen die Modelle mit deinen Daten. Alles Weitere findest du auf unserer Seite zur KI-Beratung und On-Premise-KI — oder du meldest dich direkt bei uns.