Het kiezen van een taalmodel om in het Spaans te werken, los je niet op met een scoretabel. De meeste openbare vergelijkingen richten zich op benchmarks in het Engels, en wanneer je die cijfers naar een echte Spaanse situatie vertaalt, ontdek je dat het model dat won op MMLU de draad kwijtraakt in een gesprek met Argentijnse uitdrukkingen of Catalaanse terminologie met Castiliaans vermengt. Deze gids geeft je geen gesloten ranglijst: hij geeft je een reproduceerbare configuratieprocedure zodat je zelf kunt meten welk model het beste presteert in jouw specifieke geval, met concrete tests en beslissingsdrempels.
Stap 0: definieer wat «Spaanse prestaties» betekent voor jouw project
Voordat je een API aanraakt of gewichten downloadt, schrijf je op een blad welke taken je aan het model gaat delegeren. Een classificator van supporttickets is niet hetzelfde als een generator van juridische samenvattingen. De assen die echt onderscheid maken tussen modellen in het Spaans zijn vier:
- Leesbegrip: antwoorden extraheren uit een lange tekst zonder gegevens te verzinnen.
- Vloeiendheid en register: dat de tekst niet klinkt als een automatische vertaling uit het Engels.
- Dialectrobustheid: gedrag bij Rioplatense, Mexicaanse, Peninsulare of Andijnse varianten.
- Instructietrouw: formaten respecteren (JSON, lijsten, lengtes) in het Castiliaans.
Een model kan uitstekend zijn in het eerste en rampzalig in het derde. Volgens officiële documentatie van verschillende aanbieders voegen hun meertalige evaluaties resultaten per taal samen, wat regionale verschillen verbergt. Daarom is stap 0 onmisbaar.
Stap 1: bouw de testbank met je eigen echte teksten
Verzamel tussen 20 en 40 eigen voorbeelden. Klantene-mails, fragmenten uit je kennisbank, productpagina’s of gesprekstranscripties zijn geschikt. Label handmatig het verwachte antwoord in een aparte kolom. Dit detail maakt het verschil: openbare benchmarks gebruiken sjablonen die de modellen tijdens hun training hebben gezien; jouw teksten niet.
Wat je verplicht moet opnemen
- Minimaal vijf voorbeelden met code-switching (Castiliaans met Engelse termen, gebruikelijk in technologie).
- Twee of drie met cijfers en eenheden (datums, bedragen, percentages) om formaatfouten op te sporen.
- Een voorbeeld met een negatieve instructie: «noem geen prijzen» of «antwoord alleen met de tabel».
- Teksten met accenten, eñes en openingsleestekens (¿ ¡). Het is een goedkope test die modellen met slechte tokenizers voor het Spaans uitsluit.
Stap 2: configureer de vergelijkingsomgeving
Vergelijk modellen niet vanuit verschillende chatinterfaces: die veranderen de standaard system prompt, de temperatuur en het afkappen. Gebruik één script dat elke endpoint aanroept met identieke parameters. Een skelet in Python met de standaardbibliotheek van elke aanbieder volstaat.
params = {
«temperature»: 0.2,
«max_tokens»: 800,
«top_p»: 1.0
}
Stel een lage temperatuur in (0,1–0,3) voor extractietaken. Als jouw geval creatief is, herhaal de batterij dan met temperatuur 0,8 en vergelijk de stabiliteit tussen uitvoeringen. Een model dat sterk varieert met dezelfde seed is moeilijk te integreren in productie.
De fout die bijna iedereen hier maakt
Alleen het eerste antwoord vergelijken. Grote modellen hebben vaak gelijk in de eerste beurt en degraderen wanneer de context groeit. Voeg een test van twee en drie beurten toe met opgebouwde context van 3.000–6.000 tokens in het Spaans. In mijn ervaring met klantenservice-assistenten verschijnt de scherpste daling precies daar: het model begint in het Engels te antwoorden of verliest de formaatinstructie wanneer de geschiedenis langer wordt. Die beperking komt in geen enkele openbare vergelijkingstabel naar voren.
Stap 3: definieer metrieken die je kunt berekenen zonder een team van annotatoren
Je hebt geen laboratorium nodig. Met drie eenvoudige metrieken krijg je voldoende signaal:
- Exacte of overlappende treffer: vergelijk voor extractie met het gelabelde antwoord met behulp van trefwoordovereenkomst of stringgelijkenis.
- Percentage formaatschendingen: percentage antwoorden dat het gevraagde schema niet respecteert (ongeldige JSON, opsommingstekens terwijl proza werd gevraagd).
- Penalisatie voor anglicismen: aantal Engelse termen die niet door het domein gerechtvaardigd zijn. Een redelijke drempel is meer dan twee per 200 woorden in populairwetenschappelijke teksten.
Als je vloeiendheid moet evalueren, vraag dan twee collega’s om paren antwoorden blind te rangschikken. Met 30 paren krijg je een redelijk stabiele voorkeur. Meer is niet nodig om te beslissen.
Stap 4: voer de batterij uit en lees de resultaten met scepsis
Start elk model drie keer per voorbeeld en registreer de variantie. Een model met 85 % treffer en hoge afwijking is slechter voor productie dan een met 80 % stabiel. Documenteer ook latentie en kosten per 1.000 tokens: in het Spaans is de gemiddelde lengte van antwoorden meestal 10–20 % groter dan in het Engels voor dezelfde inhoud, en dat maakt het echte gebruik duurder ook al lijkt de prijs per token laag.
Wat je kunt verwachten per type model
Open modellen van gemiddelde grootte houden zich meestal goed staande in classificatie en extractie met duidelijke instructies, maar zwakken af in dialectnuances en in het handhaven van een formeel register gedurende lange teksten. Grote propriëtaire modellen produceren doorgaans natuurlijker Castiliaans, hoewel ze soms «overcorrigeren» en een kunstmatig neutraal Spaans genereren dat voor een lokale lezer vreemd klinkt. Geen enkel model wint op alles. Als je product voor Spanje is, test dan expliciet met voorbeelden die «vosotros» en Peninsulair lexicon gebruiken; als het voor LatAm is, voorkom dan dat het model «ordenador» oplegt waar jouw gebruiker «computadora» zegt.
Stap 5: pas de prompt aan voordat je van model wisselt
Veel verschillen tussen modellen verdwijnen met een goed geschreven system prompt in het Spaans. Neem de uitvoertaal expliciet op, het gewenste register en een voorbeeldantwoord. Modellen interpreteren instructies beter wanneer de prompt zelf in de doeltaal is, ook al begrijpen ze Engels perfect.
Probeer deze volgorde: optimaliseer eerst de prompt met model A; pas daarna dezelfde prompt toe op model B. Als B sterk verbetert, was de prompt het probleem en niet het model. Als B blijft falen op dezelfde voorbeelden, dan heb je daar een echte beperking die de wissel rechtvaardigt.
Stap 6: beslis met een matrix, niet met een onderbuikgevoel
Beoordeel elke kandidaat van 1 tot 5 op vier criteria gewogen naar jouw geval: treffer op je batterij, stabiliteit tussen uitvoeringen, totale kosten en latentie. Vermenigvuldig met het gewicht en tel op. Een model dat 4 scoort op treffer maar 2 op stabiliteit is zelden de juiste keuze voor een geautomatiseerde flow.
Voeg een kolom «risico» toe: als de aanbieder de gegevensverwerking in het Spaans niet documenteert of geen zero retention biedt, kan die factor zwaarder wegen dan twee punten nauwkeurigheid. De transparantie van de aanbieder over zijn trainingsgegevens is een kwaliteitssignaal, geen versiering.
Beperkingen die deze methodologie niet oplost
Ze evalueert culturele vooroordelen niet systematisch, en dekt ook geen co-officiële talen (Catalaans, Galicisch, Baskisch) tenzij je eigen voorbeelden toevoegt. Ze voorspelt ook niet het gedrag na een update van de aanbieder: modellen veranderen zonder waarschuwing en je batterij moet met regelmaat worden herhaald. En ze vervangt geen menselijke beoordeling in gereguleerde domeinen. Als jouw geval gezondheidszorg of juridisch is, is validatie door experts verplicht ongeacht de score.
Houd ten slotte in gedachten dat Spaanse prestaties geen vaste eigenschap van het model zijn: ze hangen af van de tokenizer, de contextlengte en het domein. Een model dat uitblinkt in algemene conversatie kan falen op technische terminologie uit jouw sector. De enige vergelijking die ertoe doet, is degene die je uitvoert met jouw gegevens, jouw parameters en jouw acceptatiecriteria. De rest zijn aanwijzingen, geen verdicten.