Kiezen tussen een groot taalmodel (LLM) en een klassieke pipeline voor natuurlijke taalverwerking (NLP) is geen kwestie van mode, maar van technische fit. Deze checklist is bedoeld als filter voordat je budget, infrastructuur of een heel team in de verkeerde richting vastlegt. Elk punt bevat de nuance die we meestal met vallen en opstaan leren: wanneer het voor de hand liggende antwoord faalt.
Hoe je deze checklist gebruikt
Het is geen vragenlijst met ja of nee. Vink elk vakje aan met bewijs (een test, een document, een meting), niet met een onderbuikgevoel. Als je een vakje niet met gegevens kunt invullen, is dat vakje precies waar je project in productie zal stuklopen.
1. Definieer de taak met chirurgische precisie
1.1 Is het een gesloten of open taak?
40.000 tickets classificeren in 12 vaste categorieën is een gesloten taak. Heterogene gesprekken samenvatten is een open taak. Traditionele modellen (logistische regressie op TF-IDF, SVM, CRF voor sequentielabeling, topicmodellen zoals LDA) blijven competitief bij gesloten taken met een stabiel vocabulaire en goed afgebakende grenzen. LLM’s schitteren wanneer de uitvoer niet vooraf kan worden opgesomd.
1.2 Is het juiste label ondubbelzinnig?
Als twee deskundigen het niet eens zijn bij het labelen van hetzelfde voorbeeld, zal een LLM de neiging hebben plausibele maar inconsistente antwoorden te produceren tussen runs, en een klassiek model leert simpelweg de ruis. Meet de overeenstemming tussen annotatoren voordat je technologie kiest. Zonder die metriek is elke latere vergelijking lucht.
1.3 Heb je gestructureerde extractie of generatie nodig?
Entiteiten, relaties en datums uit contracten halen is een extractieprobleem. Een LLM kan dit doen met geforceerd JSON-formaat, maar een entiteitsherkenningsmodel dat met eigen data is getraind, is meestal goedkoper per document, sneller en stabieler bij formaatvariaties. Vrije generatie daarentegen is bijna uitsluitend het terrein van LLM’s.
2. Audit je data voordat je modellen auditeert
2.1 Volume en onevenwichtigheid
Met 300 gelabelde voorbeelden per klasse kan een goed afgesteld klassiek model voldoende zijn. Met 30 zal geen van beide goed werken, en het LLM heeft voorbeelden in de prompt nodig (in-context learning) of fine-tuning, en dat is niet gratis. Controleer de onevenwichtigheid: bij fraudedetectie of classificatie van kritieke incidenten is de minderheidsklasse degene die ertoe doet en degene met de minste data.
2.2 Domein en jargon
Een generalistisch LLM kent standaard Spaans, maar niet noodzakelijk het interne jargon van je bedrijf, productcodes of afkortingen uit je sector. Klassieke modellen kennen die ook niet, maar hun training is goedkoper en je kunt gecontroleerd vocabulaire injecteren zonder een model van miljarden parameters opnieuw te trainen.
2.3 Gevoeligheid en vestiging van de data
Als de tekst persoonsgegevens, klinische dossiers of informatie onder contractuele geheimhouding bevat, vereist het versturen van elk document naar een externe API een risicobeoordeling die veel organisaties niet hebben uitgevoerd. Klassieke modellen draaien op je eigen infrastructuur met een kleinere blootstellingsoppervlakte. Zelfgehoste LLM’s bestaan, maar ze veranderen de kosten- en personeelsberekening volledig.
3. Bereken de werkelijke kosten, niet de kosten per token
3.1 Kosten per inferentie versus onderhoudskosten
De prijs per token van een LLM lijkt laag totdat je vermenigvuldigt met miljoenen documenten en herhalingen, validaties en contexttokens toevoegt. Een klassiek model heeft bijna verwaarloosbare inferentiekosten, maar draagt onderhoudskosten met zich mee: periodieke hertrainingen, featurebeheer, modeldrift (data drift). De juiste vraag is niet wat vandaag goedkoper is, maar wat over twee jaar goedkoper zal zijn bij je geprojecteerde volume.
3.2 Latentie en gebruikerservaring
Een lineaire classificator antwoordt in milliseconden; een aanroep naar een LLM met lange context kan seconden duren. Als de taak op het kritieke pad van een interface ligt (autocomplete, realtime moderatie, chatroutering), is dat verschil beslissend. Ik heb teams een intentieclassificator naar een LLM zien migreren en ontdekken dat de responstijd vertienvoudigde zonder waarneembare verbetering in nauwkeurigheid.
3.3 Evaluatiekosten
Een LLM evalueren is duurder en diffuser dan een classificator evalueren: je hebt referentiesets nodig, soms subjectieve kwaliteitscriteria en menselijke beoordeling. Begroot die inspanning voordat je begint; volgens sectorale documentatie kost evaluatie vaak meer tijd dan verwacht.
4. Controleer de reproduceerbaarheid en auditability
4.1 Moet je elke beslissing kunnen uitleggen?
In gereguleerde sectoren (verzekeringen, bankwezen, gezondheidszorg, openbaar bestuur) moet je vaak rechtvaardigen waarom een systeem een aanvraag heeft afgewezen. Een regressiemodel met interpreteerbare coëfficiënten of een beslissingsboom is relatief eenvoudig uit te leggen. Een LLM genereert een rechtvaardiging in natuurlijke taal die overtuigend kan klinken en niet overeenkomt met de werkelijke redenering. Schijnbare verklaarbaarheid is een risico, geen voordeel.
4.2 Moet de uitvoer identiek zijn bij dezelfde invoer?
LLM’s met stochastische sampling garanderen dat niet. Je kunt de temperatuur op nul zetten, maar dat elimineert niet alle variatiebronnen (modelversies, wijzigingen bij de provider, context). Klassieke modellen zijn deterministisch van ontwerp. Als je use case herhaalbare auditing vereist, weegt dit zwaarder dan een paar punten nauwkeurigheid.
4.3 Versionering en afhankelijkheid van de provider
Een gehost LLM kan van gedrag veranderen zonder waarschuwing wanneer de provider het model bijwerkt. Je klassieke pipeline verandert alleen wanneer jij hem verandert. Documenteer hoe je versies vastzet en wat je doet als de provider de versie die je gebruikt intrekt.
5. Weeg de engineeringinspanning en het team
5.1 Heb je iemand voor prompts of iemand voor features?
Een LLM verschuift het werk van feature engineering naar promptontwerp, validatie van uitvoer en regressietests. Een klassiek model vereist profielen die meer op data en statistiek gericht zijn. Geen van beide routes is gratis; kies degene die je team op de lange termijn kan volhouden.
5.2 Ongestructureerde uitvoer en validatie
Als het LLM vrije tekst teruggeeft, heb je validatielagen, herhalingen en foutafhandeling nodig. Als het geforceerde JSON teruggeeft, heb je strikte schema’s en tolerantie voor formaatfouten nodig. Reken die onderdelen mee in het ontwerp; ze zijn geen detail.
5.3 Regressietests
Bij klassieke modellen volstaat meestal een testsuite met vaste metrieken. Bij LLM’s is het raadzaam een gouden set cases te onderhouden en antwoorden tussen versies te vergelijken, met acceptatie van enige variabiliteit. Als je die set niet hebt, heb je geen manier om te weten of een update het systeem verbeterde of verslechterde.
6. Bekijk de beperkingen die niemand in demo’s noemt
6.1 Hallucinaties bij extractietaken
Een LLM kan een datum verzinnen die niet in het document staat als het formaat dat suggereert. Bij data-extractie is dit een stille en gevaarlijke fout. Klassieke sequentielabelingsmodellen hebben hun eigen fouten, maar het zijn meestal weglatings- of grensfouten, geen verzinsels.
6.2 Degradatie bij lange of ruisige invoer
De prestaties van een LLM dalen wanneer de tekst zeer lang is, slecht geconverteerde tabellen bevat of talen mengt. In een reëel geval van classificatie van supportmails overtrof de klassieke pipeline met specifieke opschoning het LLM bij berichten met geneste citaten en handtekeningen, omdat die delen het generatieve model in de war brachten. De les: voorafgaande opschoning is in beide werelden belangrijk, en vaak meer dan het gekozen model.
6.3 Talen en dialectvarianten
Een meertalig LLM kan in veel talen acceptabel werken, maar een klassiek model dat met lokale data is getraind, kan het overtreffen in een specifieke variant. Als je corpus zeer specifiek is, test dan voordat je aanneemt dat het grote model wint.
6.4 Wat niet goed werkt met LLM
Taken met zeer hoge precisie en juridische gevolgen, beslissingen die identiek en auditbaar moeten zijn, massale verwerking met minimale latentie en een krap budget, en classificatie van een zeer gesloten vocabulaire met overvloedige gelabelde data. In die gevallen voegt het LLM kosten en ondoorzichtigheid toe zonder duidelijk voordeel.
6.5 Wat niet goed werkt met klassieke modellen
Het genereren van samenhangende tekst, abstractieve samenvatting, open dialoog, aanpassing aan nieuwe instructies zonder hertraining en begrip van pragmatische nuances (ironie, impliciete intentie). Een klassiek model dwingen dit te doen levert starre en fragiele resultaten op.
7. Ontwerp het experiment voordat je beslist
7.1 Representatieve evaluatieset
Verzamel echte voorbeelden, inclusief de zeldzame en de dubbelzinnige gevallen. Een evaluatieset die naar gemakkelijke gevallen neigt, bevoordeelt het LLM omdat het indruk maakt in het algemene; de moeilijke gevallen zijn degene die verschillen onthullen.
7.2 Metrieken afgestemd op het bedrijf
Precisie, recall en F1 zijn het vertrekpunt, maar vraag welke fout het meest kost. Bij contentmoderatie kan een fout-negatief ernstig zijn; bij leadclassificatie irriteert een fout-positief het salesteam. De metriek moet die asymmetrie weerspiegelen.
7.3 Hybride test
De dichotomie is in veel gevallen vals. Een gebruikelijk patroon is een klassiek model gebruiken om 80% van de gemakkelijke gevallen te filteren en het LLM te reserveren voor de dubbelzinnige. Of embeddings en semantisch zoeken (erfgenamen van klassieke technieken) gebruiken naast een LLM om het uiteindelijke antwoord te genereren. Documenteer die architectuur als nog een optie, niet als een mislukking van de vergelijking.
8. Definitieve beslissingschecklist
- Ik heb de taak gedefinieerd en weet of die gesloten of open is.
- Ik heb de overeenstemming tussen menselijke annotatoren gemeten.
- Ik ken het volume, de onevenwichtigheid en de kwaliteit van mijn data.
- Ik heb de kosten per inferentie en de onderhoudskosten over twee jaar berekend.
- Ik heb de aanvaardbare latentie in mijn use case gecontroleerd.
- Ik weet of ik verklaarbaarheid en strikte reproduceerbaarheid nodig heb.
- Ik heb een plan voor versionering en afhankelijkheid van de provider.
- Mijn team kan de gekozen aanpak volhouden (prompts of features).
- Ik heb de gevaarlijke stille fouten in mijn domein geïdentificeerd.
- Ik heb beide aanpakken getest met een representatieve evaluatieset.
- Ik heb een hybride architectuur overwogen voordat ik die verwierp.
Als je alles met bewijs hebt aangevinkt en niet met intuïtie, wordt de beslissing tussen LLM en klassieke NLP geen gok meer maar een gedocumenteerde keuze. En als je nog steeds een vakje niet kunt aanvinken, is dat je volgende taak, niet de keuze van het model.