Confrontare gli LLM senza perdersi nel rumore
Quando qualcuno chiede cosa sono gli LLM e come funzionano, la risposta rapida di solito è «modelli linguistici che predicono la parola successiva». È corretto, ma insufficiente per decidere quale usare. La differenza pratica tra un modello e l’altro non sta in quella definizione, bensì in come gestiscono il contesto, quanto costano per milione di token, quanto bene seguono istruzioni lunghe e fino a dove arriva la loro finestra di attenzione prima di dimenticare ciò che è stato detto all’inizio della conversazione.
Questo articolo non ripete la spiegazione da manuale. Si concentra su ciò che cambia nel confrontare le famiglie più usate —GPT, Claude, Gemini, Llama e Mistral— e sui criteri che discriminano davvero in un uso professionale: ragionamento su documenti estesi, generazione di codice, costo operativo e controllo sui dati.
Come funziona un LLM al suo interno (il giusto per confrontare)
Un LLM è una rete neurale addestrata con architettura transformer. Elabora il testo dividendolo in token (frammenti di parola) e calcola probabilità sul token successivo. Questo meccanismo, ripetuto, produce risposte coerenti. Ciò che è rilevante per un confronto è che esistono due fasi ben distinte:
- Pre-addestramento: il modello assorbe pattern da enormi corpus di testo. Qui si definiscono la sua conoscenza generale e la sua capacità di ragionamento di base.
- Allineamento (fine-tuning e RLHF): viene regolato per seguire istruzioni, rifiutare richieste dannose e adottare un tono specifico. Qui si definiscono il suo «carattere» e la sua obbedienza.
Due modelli della stessa dimensione possono comportarsi in modo radicalmente diverso a seconda di come è stata realizzata quella seconda fase. Per questo confrontare i «parametri» senza guardare all’allineamento porta a conclusioni sbagliate.
Il contesto non è solo un numero
Le schede tecniche vantano finestre di contesto di 128.000, 200.000 o persino un milione di token. In pratica, la qualità del recupero all’interno di quella finestra decade. Un pattern che si ripete quando si testano modelli con contratti lunghi: l’informazione situata al centro del documento viene recuperata peggio di quella all’inizio o alla fine. È il noto effetto «perso nel mezzo», documentato in studi del settore sulla valutazione del contesto lungo.
Conseguenza pratica: se devi analizzare un rapporto di 300 pagine, non basta che il modello accetti il documento. Conviene suddividerlo, indicizzarlo e fare recupero semantico (RAG) invece di fidarti che il modello leggerà tutto con la stessa attenzione.
Confronto delle famiglie più usate
GPT (OpenAI)
È il riferimento per ecosistema: API matura, strumenti, funzioni e una community enorme. Si distingue nella generazione di codice e nel seguire istruzioni strutturate (output JSON, chiamate a funzioni). Il suo punto debole storico è stata la verbosità e una certa tendenza a compiacere l’utente anche quando la premessa è errata. Per attività di estrazione dati con formato rigoroso, di solito è l’opzione più prevedibile.
Claude (Anthropic)
Si è posizionato forte nella scrittura lunga e nell’analisi di documenti estesi. Di solito produce testi con meno riempitivi e accetta meglio le correzioni sfumate. In attività di revisione editoriale o di sintesi di contratti, molti team lo preferiscono per il suo tono. Limitazione reale: in alcuni flussi di codice molto specifici rende al di sotto di GPT, e la sua integrazione con strumenti esterni è arrivata dopo.
Gemini (Google)
Il suo vantaggio è l’integrazione con l’ecosistema Google: ricerca, Workspace, Android. La finestra di contesto ampia e l’accesso a informazioni aggiornate tramite ricerca lo rendono utile per attività che richiedono dati recenti. La sfumatura: la variabilità tra versioni (Flash, Pro, Ultra) è alta, e scegliere il modello sbagliato per un’attività può far schizzare il costo senza migliorare il risultato.
Llama (Meta)
È la famiglia aperta di riferimento. Consente l’esecuzione locale o su server propri, il che risolve requisiti di privacy che i modelli nel cloud non coprono. Contropartita: richiede infrastruttura (GPU), manutenzione e conoscenza tecnica. Per una PMI senza team di ML, il risparmio sulla licenza se lo mangia il costo operativo.
Mistral
Modelli efficienti, buoni nel rapporto qualità/dimensione, con opzioni aperte e commerciali. Si adattano bene quando serve un modello leggero per classificazione, estrazione o assistenza clienti con bassa latenza. Non è la migliore opzione per ragionamento complesso a più passaggi.
Tabella di decisione rapida
| Necessità | Opzione ragionevole | Perché |
|---|---|---|
| Generare codice e automatizzare con API | GPT | Ecosistema e output strutturati affidabili |
| Analizzare documenti lunghi e redigere | Claude | Tono curato e buona gestione di contesto esteso |
| Dati aggiornati e integrazione Google | Gemini | Ricerca integrata e connessione con Workspace |
| Privacy ed esecuzione locale | Llama | Modello aperto, controllo totale del dato |
| Bassa latenza e costo contenuto | Mistral | Modelli piccoli efficienti |
Un caso reale che cambia la decisione
Un team legale ha provato a caricare un contratto quadro di 180 pagine su un modello con finestra di 200.000 token. La sorpresa: il modello citava correttamente le clausole dell’inizio e della fine, ma ometteva una clausola di penalità situata verso pagina 90. Non era un difetto di capacità, bensì di attenzione distribuita. La soluzione non è stata cambiare modello, ma suddividere per sezioni, indicizzare con embedding e interrogare per clausola specifica. Questo è il tipo di limitazione che non appare nei confronti dei benchmark e che si scopre solo usandolo con documenti reali.
Ciò che nessun LLM fa bene (ancora)
Conviene dirlo con chiarezza: nessun modello attuale garantisce veridicità. Possono inventare riferimenti, cifre o citazioni con totale sicurezza. Non hanno nemmeno consapevolezza dei propri limiti: se chiedi loro un dato che non conoscono, tendono a riempire il vuoto. E non ragionano in modo simbolico rigoroso: per calcoli finanziari o logica formale, un foglio di calcolo o un motore di regole resta più affidabile.
Inoltre, il costo per token può sembrare basso finché non si scala. Un flusso che elabora migliaia di documenti al giorno può trasformare una fattura mensile modesta in una cifra significativa se si usa il modello più grande per attività che un modello piccolo risolverebbe ugualmente.
Come scegliere senza sbagliare
- Definisci l’attività: classificare, redigere, estrarre, ragionare. Ognuna ha un modello che si distingue.
- Misura con i tuoi dati: i benchmark pubblici orientano, ma non sostituiscono una prova con cento esempi reali del tuo dominio.
- Calcola il costo totale: non solo il prezzo per token, ma anche latenza, tentativi ripetuti e supervisione umana.
- Verifica la privacy: se il dato non può uscire dalla tua infrastruttura, la decisione si riduce ai modelli aperti.
- Prepara la sostituzione: usare uno strato di astrazione (come librerie tipo LangChain o client unificati) evita di restare legati a un fornitore.
Il confronto utile non è «qual è il modello migliore», bensì «qual è il migliore per questa attività, con questo budget e questi vincoli». Quella domanda cambia ogni pochi mesi, e per questo conviene costruire il flusso in modo che si possa cambiare motore senza rifare tutto.