Die Wahl eines Sprachmodells für die Arbeit auf Spanisch lässt sich nicht mit einer Punktetabelle lösen. Die meisten öffentlichen Vergleiche konzentrieren sich auf Benchmarks in Englisch, und wenn man diese Zahlen auf einen realen Fall im Spanischen überträgt, stellt man fest, dass das Modell, das bei MMLU gewonnen hat, in einem Gespräch mit argentinischen Redewendungen den Faden verliert oder katalanische mit kastilischer Terminologie vermischt. Dieser Leitfaden gibt dir kein abschließendes Ranking: Er gibt dir ein reproduzierbares Konfigurationsverfahren, damit du selbst messen kannst, welches Modell in deinem konkreten Fall am besten abschneidet, mit konkreten Tests und Entscheidungsschwellen.
Schritt 0: Definiere, was „Leistung auf Spanisch» für dein Projekt bedeutet
Bevor du eine API anfasst oder Gewichte herunterlädst, schreibe auf ein Blatt, welche Aufgaben du an das Modell delegieren wirst. Ein Klassifikator für Support-Tickets ist nicht dasselbe wie ein Generator für juristische Zusammenfassungen. Die Achsen, die tatsächlich zwischen Modellen im Spanischen unterscheiden, sind vier:
- Leseverständnis: Antworten aus einem langen Text extrahieren, ohne Daten zu erfinden.
- Flüssigkeit und Register: dass der Text nicht nach maschineller Übersetzung aus dem Englischen klingt.
- Dialektale Robustheit: Verhalten gegenüber rioplatensischen, mexikanischen, peninsularen oder andinen Varianten.
- Instruktionstreue: Formate (JSON, Listen, Längen) auf Spanisch einhalten.
Ein Modell kann beim ersten Punkt hervorragend und beim dritten desaströs sein. Laut offizieller Dokumentation mehrerer Anbieter aggregieren ihre mehrsprachigen Evaluierungen die Ergebnisse nach Sprache, was regionale Unterschiede verdeckt. Deshalb ist Schritt 0 unverzichtbar.
Schritt 1: Baue den Teststand mit deinen eigenen realen Texten auf
Sammle zwischen 20 und 40 eigene Beispiele. Kunden-E-Mails, Ausschnitte aus deiner Wissensdatenbank, Produktseiten oder Anruftranskripte eignen sich. Beschrifte die erwartete Antwort manuell in einer separaten Spalte. Dieses Detail macht den Unterschied: Öffentliche Benchmarks verwenden Vorlagen, die die Modelle im Training gesehen haben; deine Texte nicht.
Was unbedingt enthalten sein muss
- Mindestens fünf Beispiele mit Code-Switching (Spanisch mit englischen Begriffen, in der Technologie üblich).
- Zwei oder drei mit Zahlen und Einheiten (Daten, Beträge, Prozentsätze), um Formatfehler zu erkennen.
- Ein Beispiel mit negativer Anweisung: „Erwähne keine Preise» oder „Antworte nur mit der Tabelle».
- Texte mit Akzenten, Eñes und öffnenden Satzzeichen (¿ ¡). Das ist ein günstiger Test, der Modelle mit schlechten Tokenizern für Spanisch aussortiert.
Schritt 2: Konfiguriere die Vergleichsumgebung
Vergleiche Modelle nicht über verschiedene Chat-Oberflächen: Sie ändern den Standard-System-Prompt, die Temperatur und die Kürzung. Verwende ein einziges Skript, das jeden Endpunkt mit identischen Parametern aufruft. Ein Skelett in Python mit der Standardbibliothek jedes Anbieters reicht aus.
params = {
«temperature»: 0.2,
«max_tokens»: 800,
«top_p»: 1.0
}
Lege eine niedrige Temperatur (0,1–0,3) für Extraktionsaufgaben fest. Wenn dein Fall kreativ ist, wiederhole die Batterie mit Temperatur 0,8 und vergleiche die Stabilität zwischen den Durchläufen. Ein Modell, das mit demselben Seed stark variiert, ist schwer in die Produktion zu integrieren.
Der Fehler, den fast alle hier machen
Nur die erste Antwort vergleichen. Große Modelle treffen oft im ersten Turn ins Schwarze und verschlechtern sich, wenn der Kontext wächst. Füge einen Test mit zwei und drei Turns mit akkumuliertem Kontext von 3.000–6.000 Tokens auf Spanisch hinzu. In meiner Erfahrung mit Kundendienst-Assistenten tritt der steilste Abfall genau dort auf: Das Modell beginnt auf Englisch zu antworten oder verliert die Formatanweisung, wenn der Verlauf länger wird. Diese Einschränkung taucht in keiner öffentlichen Vergleichstabelle auf.
Schritt 3: Definiere Metriken, die du ohne ein Team von Annotatoren berechnen kannst
Du brauchst kein Labor. Mit drei einfachen Metriken erhältst du ausreichend Signal:
- Exakte oder überlappende Trefferquote: Vergleiche bei der Extraktion mit der beschrifteten Antwort anhand von Schlüsselwortübereinstimmung oder Zeichenkettenähnlichkeit.
- Rate der Formatverstöße: Prozentsatz der Antworten, die das angeforderte Schema nicht einhalten (ungültiges JSON, Aufzählungslisten, wenn Prosa verlangt war).
- Strafe für Anglizismen: Anzahl der durch die Domäne nicht gerechtfertigten englischen Begriffe. Ein vernünftiger Schwellenwert ist mehr als zwei pro 200 Wörter in populärwissenschaftlichen Texten.
Wenn du die Flüssigkeit bewerten musst, bitte zwei Kollegen, Antwortpaare blind zu ordnen. Mit 30 Paaren erhältst du eine ziemlich stabile Präferenz. Mehr braucht es für die Entscheidung nicht.
Schritt 4: Führe die Batterie aus und lies die Ergebnisse mit Skepsis
Starte jedes Modell dreimal pro Beispiel und protokolliere die Varianz. Ein Modell mit 85 % Trefferquote und hoher Abweichung ist für die Produktion schlechter als eines mit stabilen 80 %. Dokumentiere auch Latenz und Kosten pro 1.000 Tokens: Auf Spanisch ist die durchschnittliche Antwortlänge für denselben Inhalt meist 10–20 % länger als auf Englisch, und das verteuert die reale Nutzung, auch wenn der Preis pro Token niedrig erscheint.
Was je nach Modelltyp zu erwarten ist
Offene Modelle mittlerer Größe schlagen sich bei Klassifikation und Extraktion mit klaren Anweisungen meist gut, schwächeln aber bei dialektalen Nuancen und beim Halten eines formellen Registers über lange Texte. Große proprietäre Modelle neigen zu natürlicherem Kastilisch, obwohl sie manchmal „überkorrigieren» und ein künstliches neutrales Spanisch erzeugen, das für einen lokalen Leser seltsam klingt. Keines gewinnt in allem. Wenn dein Produkt für Spanien ist, teste explizit mit Beispielen, die „vosotros» und peninsularen Wortschatz verwenden; wenn es für LatAm ist, verhindere, dass das Modell „ordenador» aufzwingt, wo dein Nutzer „computadora» sagt.
Schritt 5: Passe den Prompt an, bevor du das Modell wechselst
Viele Unterschiede zwischen Modellen verschwinden mit einem gut geschriebenen System-Prompt auf Spanisch. Gib die Ausgabesprache explizit an, das gewünschte Register und ein Beispiel für eine Antwort. Modelle interpretieren Anweisungen besser, wenn der Prompt selbst in der Zielsprache verfasst ist, auch wenn sie Englisch perfekt verstehen.
Probiere diese Reihenfolge: Optimiere zuerst den Prompt mit Modell A; wende dann denselben Prompt auf Modell B an. Wenn B sich stark verbessert, lag das Problem am Prompt und nicht am Modell. Wenn B bei denselben Beispielen weiterhin scheitert, hast du dort eine echte Einschränkung, die den Wechsel rechtfertigt.
Schritt 6: Entscheide mit einer Matrix, nicht mit einem Bauchgefühl
Bewerte jeden Kandidaten von 1 bis 5 in vier Kriterien, gewichtet nach deinem Fall: Trefferquote in deiner Batterie, Stabilität zwischen den Durchläufen, Gesamtkosten und Latenz. Multipliziere mit dem Gewicht und summiere. Ein Modell, das eine 4 bei der Trefferquote, aber eine 2 bei der Stabilität erzielt, ist selten die richtige Wahl für einen automatisierten Ablauf.
Füge eine Spalte „Risiko» hinzu: Wenn der Anbieter die Datenverarbeitung auf Spanisch nicht dokumentiert oder keine Null-Aufbewahrung bietet, kann dieser Faktor mehr wiegen als zwei Punkte Genauigkeit. Die Transparenz des Anbieters über seine Trainingsdaten ist ein Qualitätssignal, keine Zierde.
Einschränkungen, die diese Methodik nicht löst
Sie bewertet kulturelle Verzerrungen nicht systematisch und deckt keine kooffiziellen Sprachen (Katalanisch, Galicisch, Baskisch) ab, es sei denn, du fügst eigene Beispiele hinzu. Sie sagt auch nicht das Verhalten nach einem Anbieter-Update voraus: Modelle ändern sich ohne Ankündigung, und deine Batterie muss in regelmäßigen Abständen wiederholt werden. Und sie ersetzt keine menschliche Überprüfung in regulierten Bereichen. Wenn dein Fall im Gesundheits- oder Rechtswesen liegt, ist die Validierung durch Experten unabhängig von der Punktzahl verpflichtend.
Beachte schließlich, dass die Leistung auf Spanisch keine feste Eigenschaft des Modells ist: Sie hängt vom Tokenizer, von der Kontextlänge und von der Domäne ab. Ein Modell, das in allgemeinen Gesprächen glänzt, kann bei der Fachterminologie deines Sektors versagen. Der einzige Vergleich, der zählt, ist der, den du mit deinen Daten, deinen Parametern und deinen Akzeptanzkriterien durchführst. Der Rest sind Hinweise, keine Urteile.