Die Wahl zwischen einem großen Sprachmodell (LLM) und einer klassischen NLP-Pipeline (Verarbeitung natürlicher Sprache) ist keine Frage des Trends, sondern der technischen Passung. Diese Checkliste soll dir als Filter dienen, bevor du Budget, Infrastruktur oder ein ganzes Team in die falsche Richtung bindest. Jeder Punkt enthält die Nuance, die wir meist auf die harte Tour lernen: wann die naheliegende Antwort scheitert.
Wie du diese Checkliste verwendest
Es ist kein Ja-Nein-Fragebogen. Setze jedes Häkchen mit Belegen (einem Test, einem Dokument, einer Messung), nicht mit einem Bauchgefühl. Wenn du ein Kästchen nicht mit Daten füllen kannst, dann ist genau dieses Kästchen der Punkt, an dem dein Projekt in der Produktion scheitern wird.
1. Definiere die Aufgabe mit chirurgischer Präzision
1.1 Handelt es sich um eine geschlossene oder eine offene Aufgabe?
40.000 Tickets in 12 feste Kategorien einzuordnen, ist eine geschlossene Aufgabe. Heterogene Gespräche zusammenzufassen, ist eine offene Aufgabe. Traditionelle Modelle (logistische Regression auf TF-IDF, SVM, CRF für die Sequenzkennzeichnung, Themenmodelle wie LDA) sind bei geschlossenen Aufgaben mit stabilem Vokabular und klar definierten Grenzen weiterhin konkurrenzfähig. LLMs glänzen, wenn sich die Ausgabe nicht im Voraus aufzählen lässt.
1.2 Ist das korrekte Label eindeutig?
Wenn zwei Expertinnen und Experten beim Labeln desselben Beispiels nicht übereinstimmen, neigt ein LLM dazu, plausible, aber zwischen den Läufen inkonsistente Antworten zu erzeugen, und ein klassisches Modell lernt schlicht das Rauschen. Bevor du die Technologie wählst, miss die Übereinstimmung zwischen den Annotatoren. Ohne diese Kennzahl ist jeder spätere Vergleich Schall und Rauch.
1.3 Brauchst du strukturierte Extraktion oder Generierung?
Entitäten, Beziehungen und Daten aus Verträgen zu extrahieren, ist ein Extraktionsproblem. Ein LLM kann das mit erzwungenem JSON-Format erledigen, aber ein mit eigenen Daten trainiertes Modell zur Erkennung benannter Entitäten ist pro Dokument meist günstiger, schneller und stabiler gegenüber Formatvariationen. Die freie Generierung hingegen ist nahezu ausschließlich das Terrain der LLMs.
2. Prüfe deine Daten, bevor du Modelle prüfst
2.1 Volumen und Ungleichgewicht
Mit 300 gelabelten Beispielen pro Klasse kann ein gut abgestimmtes klassisches Modell ausreichen. Mit 30 wird keines von beiden gut funktionieren, und das LLM benötigt Beispiele im Prompt (In-Context-Learning) oder Feintuning, was nicht umsonst ist. Prüfe das Ungleichgewicht: Bei der Betrugs- oder Störfallklassifizierung ist die Minderheitsklasse diejenige, die zählt und die am wenigsten Daten hat.
2.2 Domäne und Jargon
Ein generalistisches LLM kennt das Standardspanisch, aber nicht unbedingt den internen Jargon deines Unternehmens, Produktcodes oder Abkürzungen deiner Branche. Klassische Modelle kennen ihn auch nicht, aber ihr Training ist günstiger, und du kannst kontrolliertes Vokabular einbringen, ohne ein Modell mit Milliarden von Parametern neu zu trainieren.
2.3 Sensibilität und Datenresidenz
Wenn der Text personenbezogene Daten, klinische Verläufe oder Informationen unter Vertragsgeheimhaltung enthält, erfordert das Senden jedes Dokuments an eine externe API eine Risikobewertung, die viele Organisationen nicht durchgeführt haben. Klassische Modelle laufen in deiner eigenen Infrastruktur mit einer geringeren Angriffsfläche. Selbst gehostete LLMs existieren, verändern aber die Kosten- und Personalrechnung vollständig.
3. Berechne die realen Kosten, nicht die Kosten pro Token
3.1 Inferenzkosten versus Wartungskosten
Der Preis pro Token eines LLM wirkt niedrig, bis du ihn mit Millionen von Dokumenten multiplizierst und Wiederholungsversuche, Validierungen und Kontext-Token hinzufügst. Ein klassisches Modell hat nahezu vernachlässigbare Inferenzkosten, bringt aber Wartungskosten mit sich: regelmäßiges Neutraining, Feature-Management, Modelldrift (Data Drift). Die richtige Frage ist nicht, was heute günstiger ist, sondern was es in zwei Jahren bei deinem prognostizierten Volumen sein wird.
3.2 Latenz und Nutzererfahrung
Ein linearer Klassifikator antwortet in Millisekunden; ein Aufruf eines LLM mit langem Kontext kann Sekunden dauern. Wenn die Aufgabe im kritischen Pfad einer Schnittstelle liegt (Autovervollständigung, Echtzeit-Moderation, Chat-Routing), ist dieser Unterschied entscheidend. Ich habe Teams gesehen, die einen Intent-Klassifikator auf ein LLM migriert haben und feststellten, dass sich die Antwortzeit verzehnfachte, ohne wahrnehmbare Verbesserung der Genauigkeit.
3.3 Evaluierungskosten
Ein LLM zu evaluieren ist teurer und diffuser als einen Klassifikator zu evaluieren: Du brauchst Referenzdatensätze, teils subjektive Qualitätskriterien und menschliche Überprüfung. Kalkuliere diesen Aufwand vor dem Start ein; laut Branchendokumentation verbraucht die Evaluierung meist mehr Zeit als geplant.
4. Prüfe Reproduzierbarkeit und Auditierbarkeit
4.1 Musst du jede Entscheidung erklären?
In regulierten Branchen (Versicherungen, Banken, Gesundheitswesen, öffentliche Verwaltung) muss oft begründet werden, warum ein System einen Antrag abgelehnt hat. Ein Regressionsmodell mit interpretierbaren Koeffizienten oder ein Entscheidungsbaum lässt sich relativ leicht erklären. Ein LLM erzeugt eine Begründung in natürlicher Sprache, die überzeugend klingen und nicht der tatsächlichen Argumentation entsprechen kann. Scheinbare Erklärbarkeit ist ein Risiko, kein Vorteil.
4.2 Muss die Ausgabe bei gleicher Eingabe identisch sein?
LLMs mit stochastischem Sampling garantieren das nicht. Du kannst die Temperatur auf null setzen, aber das beseitigt nicht alle Variationsquellen (Modellversionen, Anbieteränderungen, Kontext). Klassische Modelle sind von Natur aus deterministisch. Wenn dein Anwendungsfall eine wiederholbare Prüfung erfordert, wiegt dies schwerer als ein paar Genauigkeitspunkte.
4.3 Versionierung und Anbieterabhängigkeit
Ein gehostetes LLM kann sein Verhalten ohne Vorankündigung ändern, wenn der Anbieter das Modell aktualisiert. Deine klassische Pipeline ändert sich nur, wenn du sie änderst. Dokumentiere, wie du Versionen fixieren wirst und was du tust, falls der Anbieter die von dir genutzte zurückzieht.
5. Bewerte den Engineering-Aufwand und das Team
5.1 Hast du jemanden, der Prompts pflegt, oder jemanden, der Features pflegt?
Ein LLM verlagert die Arbeit von der Feature-Entwicklung hin zum Prompt-Design, zur Validierung der Ausgaben und zu Regressionstests. Ein klassisches Modell erfordert stärker daten- und statistikorientierte Profile. Keiner der beiden Wege ist umsonst; wähle den, den dein Team auf Dauer tragen kann.
5.2 Unstrukturierte Ausgaben und Validierung
Wenn das LLM Freitext zurückgibt, brauchst du Validierungsschichten, Wiederholungsversuche und Fehlerbehandlung. Wenn es erzwungenes JSON zurückgibt, brauchst du strikte Schemata und Toleranz gegenüber Formatfehlern. Rechne diese Bausteine ins Design ein; sie sind kein Detail.
5.3 Regressionstests
Bei klassischen Modellen reicht meist eine Testsuite mit festen Kennzahlen. Bei LLMs empfiehlt es sich, einen Golden Set von Fällen zu pflegen und Antworten zwischen Versionen zu vergleichen, wobei eine gewisse Variabilität akzeptiert wird. Wenn du diesen Satz nicht hast, hast du keine Möglichkeit zu wissen, ob ein Update das System verbessert oder verschlechtert hat.
6. Prüfe die Einschränkungen, die niemand in den Demos erwähnt
6.1 Halluzinationen bei Extraktionsaufgaben
Ein LLM kann ein Datum erfinden, das nicht im Dokument steht, wenn das Format es nahelegt. Bei der Datenextraktion ist das ein stiller und gefährlicher Fehler. Klassische Modelle zur Sequenzkennzeichnung haben ihre eigenen Fehler, aber es sind meist Auslassungs- oder Grenzfehler, keine Erfindungen.
6.2 Verschlechterung bei langen oder verrauschten Eingaben
Die Leistung eines LLM sinkt, wenn der Text sehr lang ist, schlecht konvertierte Tabellen enthält oder Sprachen mischt. In einem realen Fall der Klassifizierung von Support-E-Mails übertraf die klassische Pipeline mit spezifischer Bereinigung das LLM bei Nachrichten mit verschachtelten Zitaten und Signaturen, weil diese Teile das generative Modell verwirrten. Die Lehre: Die Vorbereinigung ist in beiden Welten wichtig, und oft wichtiger als das gewählte Modell.
6.3 Sprachen und dialektale Varianten
Ein mehrsprachiges LLM kann in vielen Sprachen akzeptabel funktionieren, aber ein mit lokalen Daten trainiertes klassisches Modell kann es bei einer bestimmten Variante übertreffen. Wenn dein Korpus sehr spezifisch ist, teste, bevor du annimmst, dass das große Modell gewinnt.
6.4 Was mit LLM nicht gut funktioniert
Aufgaben mit höchster Präzision und rechtlichen Konsequenzen, Entscheidungen, die identisch und prüfbar sein müssen, massenhafte Verarbeitung mit minimaler Latenz und knappem Budget sowie die Klassifizierung eines sehr geschlossenen Vokabulars mit reichlich gelabelten Daten. In diesen Fällen fügt das LLM Kosten und Undurchsichtigkeit ohne klaren Vorteil hinzu.
6.5 Was mit klassischen Modellen nicht gut funktioniert
Die Erzeugung kohärenten Textes, abstraktives Zusammenfassen, offener Dialog, die Anpassung an neue Anweisungen ohne Neutraining und das Verständnis pragmatischer Nuancen (Ironie, implizite Absicht). Ein klassisches Modell zu diesen Dingen zu zwingen, erzeugt starre und fragile Ergebnisse.
7. Entwirf das Experiment, bevor du entscheidest
7.1 Repräsentativer Evaluierungsdatensatz
Stelle reale Beispiele zusammen, einschließlich der seltenen und der mehrdeutigen Fälle. Ein auf leichte Fälle verzerrter Evaluierungsdatensatz bevorzugt das LLM, weil es im Allgemeinen beeindruckt; die schwierigen Fälle sind diejenigen, die Unterschiede offenbaren.
7.2 Am Geschäft ausgerichtete Kennzahlen
Präzision, Recall und F1 sind der Ausgangspunkt, aber frage, welcher Fehler teurer ist. Bei der Inhaltsmoderation kann ein falsch negatives Ergebnis schwerwiegend sein; bei der Lead-Klassifizierung stört ein falsch positives Ergebnis das Vertriebsteam. Die Kennzahl muss diese Asymmetrie widerspiegeln.
7.3 Hybrider Test
Die Dichotomie ist in vielen Fällen falsch. Ein übliches Muster ist, ein klassisches Modell zu verwenden, um die 80 % der leichten Fälle zu filtern, und das LLM für die mehrdeutigen zu reservieren. Oder Embeddings und semantische Suche (Erben klassischer Techniken) zusammen mit einem LLM zu nutzen, um die endgültige Antwort zu erzeugen. Dokumentiere diese Architektur als eine weitere Option, nicht als Scheitern des Vergleichs.
8. Abschließende Entscheidungs-Checkliste
- Ich habe die Aufgabe definiert und weiß, ob sie geschlossen oder offen ist.
- Ich habe die Übereinstimmung zwischen menschlichen Annotatoren gemessen.
- Ich kenne das Volumen, das Ungleichgewicht und die Qualität meiner Daten.
- Ich habe die Inferenzkosten und die Wartungskosten über zwei Jahre berechnet.
- Ich habe die zulässige Latenz in meinem Anwendungsfall geprüft.
- Ich weiß, ob ich Erklärbarkeit und strikte Reproduzierbarkeit benötige.
- Ich habe einen Plan für Versionierung und Anbieterabhängigkeit.
- Mein Team kann den gewählten Ansatz tragen (Prompts oder Features).
- Ich habe die gefährlichen stillen Fehler in meiner Domäne identifiziert.
- Ich habe beide Ansätze mit einem repräsentativen Evaluierungsdatensatz getestet.
- Ich habe eine hybride Architektur in Betracht gezogen, bevor ich sie verworfen habe.
Wenn du alles mit Belegen und nicht mit Intuition angekreuzt hast, hört die Entscheidung zwischen LLM und klassischem NLP auf, ein Glücksspiel zu sein, und wird zu einer dokumentierten Wahl. Und wenn du noch immer nicht alle Kästchen ankreuzen kannst, dann ist das deine nächste Aufgabe, nicht die Wahl des Modells.