LLMs im Unternehmen aufsetzen: Schritt-für-Schritt-Konfiguration

Ein Sprachmodell in der Produktion bereitzustellen bedeutet nicht, eine ZIP-Datei herunterzuladen und einen Befehl auszuführen. Ich habe Teams gesehen, die Monate mit einem Proof of Concept verbracht haben, der auf dem Laptop eines Ingenieurs funktionierte und am ersten Montag mit zwanzig gleichzeitigen Nutzern zusammenbrach. Diese Anleitung beschreibt den tatsächlichen Konfigurationsprozess, mit den Entscheidungen, die zählen, und den Stellen, an denen fast alle stolpern.

Bevor du irgendetwas anfasst: Definiere den Anwendungsfall und das Erfolgskriterium

Die technische Konfiguration hängt von der Aufgabe ab, die das Modell erledigen soll. Ein interner Assistent, der Fragen zur Unternehmensdokumentation beantwortet (Retrieval-Augmented Generation über PDFs), ist nicht dasselbe wie ein Klassifikator für Support-Tickets (eine eng umrissene Aufgabe, bei der ein kleines, gut abgestimmtes Modell ein großes mit generischem Prompt schlägt).

Schreibe einen konkreten Satz, bevor du einen Anbieter wählst: „Der Vertriebsmitarbeiter stellt eine Frage zu Preisen und erhält innerhalb von drei Sekunden eine Antwort mit dem Link zum entsprechenden Abschnitt im Katalog.» Wenn du das nicht messen kannst, kannst du nichts mit Urteilsvermögen konfigurieren.

Ein häufiger Fehler: Teams, die mit der Anfrage nach „einem internen ChatGPT» beginnen, ohne Domäne oder Quellen einzugrenzen. Das Ergebnis ist ein Chat, der bei der Urlaubsrichtlinie halluziniert, weil niemand ihm Zugriff auf das richtige Dokument gegeben hat. Grenze die Quellen ein, bevor du das Modell eingrenzt.

Entscheidung 1: Verwaltete API, selbst gehostetes offenes Modell oder Hybrid

Drei reale Wege, mit unterschiedlichen Kosten und Reibungspunkten:

• API eines Cloud-Anbieters: In wenigen Stunden einsatzbereit. Die Kosten sind variabel pro Token, und die Latenz hängt vom Netzwerk ab. Für fast alles geeignet, außer wenn Daten das Perimeter nicht verlassen dürfen.
• Offenes Modell in deiner Infrastruktur: Volle Datenkontrolle, feste GPU-Kosten. Erfordert Know-how im Betrieb von Inferenz: Quantisierung, Videospeicher, Anfragewarteschlangen. Ein Modell mit 7-8 Milliarden Parametern in 4-Bit-Quantisierung läuft auf einer GPU mit 24 GB; eines mit 70B benötigt mehrere oder aggressive Quantisierungen, die die Qualität beeinträchtigen.
• Hybrid: Kleines lokales Modell zum Klassifizieren und Routing, großes Modell über API nur für komplexe Anfragen. Reduziert Kosten und Datenexposition.

Laut offizieller Dokumentation der wichtigsten Inferenz-Frameworks (vLLM, TGI, Ollama) hängt die Produktionsleistung mehr vom Batching und der Verwaltung des KV-Cache ab als vom gewählten Modell. Ein schlecht konfigurierter Server mit einem exzellenten Modell liefert eine schlechtere Erfahrung als ein gut abgestimmter mit einem mittelmäßigen Modell.

Der Faktor, den niemand einkalkuliert: die GPU

Wenn du dich für Selbsthosting entscheidest, berechne den Speicher, bevor du kaufst. Faustregel: Parameter in Milliarden × Bytes pro Parameter je nach Quantisierung (≈0,5 Bytes bei 4 Bit, ≈1 Byte bei 8 Bit, ≈2 Bytes bei 16 Bit) plus der Speicherplatz für den Kontext. Ein 7B-Modell in FP16 belegt etwa 14 GB allein für die Gewichte; mit langem Kontext geht dir der VRAM schneller aus, als du denkst.

Entscheidung 2: Wie du dem Modell das Wissen des Unternehmens gibst

Hier stecken 80 % der eigentlichen Arbeit. Zwei Ansätze:

Retrieval-Augmented Generation (RAG)

Du zerlegst Dokumente in Abschnitte, erzeugst Embeddings, speicherst sie in einem Vektorindex und rufst bei jeder Anfrage die relevanten Fragmente ab, um sie in den Prompt einzufügen. Konfigurationsschritte:

1. Ingestion mit Versionskontrolle. Jedes Dokument trägt Metadaten: Quelle, Datum, Abteilung, Berechtigungen. Ohne Berechtigungen in den Metadaten kann ein Praktikant die Protokolle des Vorstands lesen.
2. Bewusstes Chunking. Fragmente von 300-800 Tokens mit Überlappung. Das Zerlegen nach Zeichen zerstört Tabellen und Listen; zerlege nach Struktur (Überschriften, Absätze).
3. Embeddings und Reindexierung. Wähle ein mehrsprachiges Embedding-Modell, wenn Dokumente in mehreren Sprachen vorliegen. Plane die Reindexierung ein, wenn sich der Korpus ändert; ein veralteter Index antwortet mit Daten von vor zwei Jahren, ohne es anzuzeigen.
4. Hybride Suche. Kombiniere semantische Suche mit lexikalischer Suche (BM25). Produktcodes und Eigennamen versagen bei rein vektorbasierter Suche.
5. Reranking und Schwellenwert. Ein Reranker verwirft irrelevante Fragmente. Definiere einen Schwellenwert: Ist die Ähnlichkeit niedrig, muss der Assistent „Ich weiß es nicht» sagen, statt zu erfinden.

Fine-Tuning

Nützlich für Stil, Ausgabeformat und repetitive Aufgaben mit vielen gelabelten Beispielen. Es ist nicht das Werkzeug, um veränderliches Wissen einzubringen: Ein mit dem Katalog von Januar abgestimmtes Modell antwortet weiterhin mit dem von Januar. Für Daten, die sich ändern, RAG.

Konfiguration des System-Prompts und der Schutzmaßnahmen

Der System-Prompt ist Konfiguration, kein kreatives Schreiben. Definiere: Rolle, Ton, Grenzen, Ausgabeformat und was bei Unsicherheit zu tun ist. Sei explizit beim Format, wenn du die Antwort parsen willst (zum Beispiel JSON mit festem Schema), und validiere die Ausgabe mit einem Parser, bevor du sie dem Nutzer zeigst.

Minimale Schutzmaßnahmen, die du konfigurieren musst:

• Ein- und Ausgabefilter für personenbezogene Daten gemäß der internen Richtlinie.
• Begrenzung der Kontextlänge und der Ausgabe-Tokens (verhindert ausufernde Kosten).
• Protokollierung der Gespräche mit definierter Aufbewahrungsfrist und auditiertem Zugriff.
• Rate Limiting pro Nutzer und pro IP.
• Schaltfläche „Falsche Antwort melden», die eine Überprüfungswarteschlange speist.

Ein Detail, das du in der Produktion entdeckst: Nutzer fügen vollständige Gespräche aus anderen Chats in den Prompt ein. Ohne Längenbegrenzung vervielfachen sich die Kosten pro Sitzung, und das Modell wird durch irrelevanten Kontext abgelenkt.

Integration mit den Unternehmenssystemen

Der Assistent lebt selten isoliert. Typische Konfiguration:

1. Orchestrierungsschicht (eigenes Backend oder Agenten-Framework), die die Anfrage entgegennimmt, entscheidet, ob der Index abgefragt wird, ein Tool aufgerufen wird oder direkt geantwortet wird.
2. Konnektoren zu internen Systemen über API mit Nur-Lese-Service-Anmeldedaten und minimalen Berechtigungen. Gib dem Modell in der ersten Version niemals Schreibberechtigungen für das ERP.
3. Authentifizierung und Vererbung von Berechtigungen. Der Assistent darf nur mit dem antworten, was der Nutzer sehen darf. Dies wird in der Retrieval-Schicht implementiert, nicht im Prompt: Das Modell zu bitten, „keine vertraulichen Daten preiszugeben», ist keine Zugriffskontrolle.
4. Observability. Traces pro Anfrage: Eingabe- und Ausgabe-Tokens, Latenz, abgerufene Fragmente, geschätzte Kosten. Ohne dies kannst du weder optimieren noch die Ausgaben rechtfertigen.

Teste mit echten Daten, bevor du die Tür öffnest

Stelle ein Evaluationsset mit echten Nutzerfragen und erwarteten Antworten zusammen. Messe: Antwortgenauigkeit, Rate korrekter „Ich weiß es nicht», Latenz im 95. Perzentil und durchschnittliche Kosten pro Anfrage. Branchenstudien zufolge stammt ein erheblicher Teil der Fehler in Unternehmensassistenten aus dem Retrieval, nicht aus der Generierung: Das Modell antwortet korrekt auf ein falsches Fragment.

Teste auch die Grenzfälle: mehrdeutige Fragen, Anfragen außerhalb der Domäne, Versuche der Prompt-Manipulation. Und prüfe das Verhalten bei schlecht digitalisierten gescannten Dokumenten: Unsauberes OCR erzeugt Antworten mit verfälschten Zahlen.

Schrittweise Einführung und Wartung

Beginne mit einer Pilotgruppe von zehn bis zwanzig Personen aus einer einzigen Abteilung. Sammle zwei Wochen lang Feedback, passe den Prompt und den Korpus an, und erst dann erweitere. Habe einen Rückfallplan: den Assistenten deaktivieren zu können, ohne den Arbeitsablauf des Teams zu stören.

Unverzichtbare kontinuierliche Wartung: Reindexierung bei Dokumentänderungen, wöchentliche Kostenprüfung, Latenzüberwachung und Aktualisierung des Modells bei einer besseren Version erst nach bestandener Evaluation. Das Modell ohne Evaluation zu wechseln ist der schnellste Weg, ein funktionierendes System zu verschlechtern.

Was dieser Ansatz nicht löst

Ein so konfiguriertes LLM ersetzt kein Regelwerk in Prozessen, in denen Exaktheit zwingend ist (Gehaltsabrechnung, regulatorische Compliance mit Zahlen). Es ist auch ohne externe Werkzeuge nicht zuverlässig für komplexes mathematisches Denken. Und es beseitigt nicht die Notwendigkeit menschlicher Überprüfung bei sensibler externer Kommunikation.

Die Schritt-für-Schritt-Konfiguration, die funktioniert, ist die, die eng umrissen beginnt, misst und nur das erweitert, was Wert beweist. Der Rest ist Token-Ausgabe.