Por que comparar alucinações e não apenas ‘modelos bons e ruins’
Quando alguém pergunta sobre as limitações das alucinações em LLM, a resposta útil não é um sim ou não, mas uma comparação prática: qual modelo alucina menos em determinada tarefa, com quais técnicas isso é mitigado e a que custo. Segundo a documentação oficial dos principais provedores e os estudos do setor sobre avaliação de fidelidade (faithfulness), nenhum dos modelos atuais elimina a alucinação; eles a reduzem em domínios específicos e a deslocam para outros.
Este artigo compara opções populares de mitigação e modelos a partir de uma perspectiva operacional: o que funciona, o que não funciona e onde as equipes costumam ter surpresas. Não é uma lista de ‘melhores IAs’; é uma comparação de abordagens com seus limites reais.
Critérios de comparação que realmente discriminam
1. Taxa de afirmações não sustentadas (fidelidade)
A métrica-chave não é ‘acerta?’ mas ‘inventa fatos que não estão na fonte?’. Em tarefas de resumo com contexto longo, os modelos grandes com melhor aderência ao contexto costumam gerar menos afirmações não sustentadas do que modelos pequenos, mas perdem essa vantagem quando a pergunta exige conhecimento externo não incluído no prompt. Comparar modelos sem fixar o cenário (contexto fechado vs. pergunta aberta) produz conclusões enganosas.
2. Calibração da incerteza
Um modelo calibrado expressa dúvida quando não sabe. Na prática, quase todos os modelos comerciais populares estão mal calibrados em perguntas de nicho: respondem com a mesma segurança um dado verificável e um inventado. Segundo estudos do setor, a confiança verbal do modelo não se correlaciona de forma confiável com a exatidão, o que invalida a estratégia de ‘perguntar se ele tem certeza’.
3. Custo e latência da mitigação
RAG, verificação com busca na web, autocrítica e voto múltiplo reduzem alucinações, mas cada camada adiciona latência e custo. A comparação honesta inclui o preço por resposta confiável, não apenas o preço por token.
Comparação de abordagens populares de mitigação
RAG (geração aumentada por recuperação)
O que faz bem: ancora as respostas em documentos próprios. Em perguntas sobre normativas internas, manuais ou catálogos, reduz drasticamente a invenção de dados quando o recuperador traz o fragmento correto.
Onde falha: se o recuperador não encontra o fragmento, o modelo nem sempre diz ‘não sei’; às vezes preenche com conhecimento paramétrico. Também alucina ao citar: inventa números de página ou mistura dois documentos. Um erro comum que só se percebe com uso real é que RAG sobre documentos duplicados ou versões antigas produz respostas coerentes, mas desatualizadas, e a equipe detecta isso tarde porque a resposta ‘soa bem’.
Verificação com busca na web em tempo real
O que faz bem: melhora a atualidade e permite citar fontes. Útil para perguntas sobre preços, lançamentos ou notícias.
Onde falha: introduz dependência da qualidade dos resultados de busca. Se a fonte é um fórum ou um blog especulativo, o modelo pode apresentar uma afirmação duvidosa como fato com link incluído, o que, paradoxalmente, aumenta a credibilidade percebida do erro. Não serve para perguntas contrafactuais ou hipotéticas, nas quais não há fonte a verificar.
Autocrítica e cadeias de verificação
O que faz bem: pedir ao modelo que revise sua própria resposta detecta erros aritméticos e contradições internas em tarefas estruturadas.
Onde falha: a autocrítica compartilha os mesmos pontos cegos da geração. Um modelo que não sabe um dado também não sabe que não o sabe ao revisá-lo, e pode ‘confirmar’ sua própria invenção. Funciona melhor com verificação externa (calculadora, banco de dados) do que com introspecção.
Respostas com abstenção forçada
O que faz bem: instruir o modelo a responder ‘não disponível’ quando não houver evidência reduz afirmações falsas em domínios delimitados.
Onde falha: aumenta os falsos negativos. No atendimento ao cliente, um excesso de abstenção degrada a experiência tanto quanto uma resposta incorreta. O limiar precisa ser calibrado por caso de uso, e não há um valor universal.
Comparação por tipo de modelo: grandes vs. pequenos vs. especializados
Modelos grandes de propósito geral
Menor taxa de alucinação em conhecimento comum e melhor seguimento de instruções complexas. No entanto, sua fluência é uma faca de dois gumes: inventam com mais elegância. Em domínios muito técnicos ou recentes, seu conhecimento paramétrico fica obsoleto e eles preenchem lacunas com plausibilidade.
Modelos pequenos e destilados
Mais baratos e rápidos, e suficientes para tarefas de extração com contexto fechado. Sua limitação é a generalização: fora do formato para o qual foram ajustados, a taxa de invenção sobe. Não recomendáveis para perguntas abertas sem RAG.
Modelos especializados ou ajustados com dados próprios
Podem reduzir alucinações em um domínio restrito, mas o ajuste fino não garante fidelidade: ensina estilo e formato mais do que fatos. Um modelo ajustado com dados incompletos aprende a responder com segurança dentro desse domínio, incluindo as lacunas. A avaliação com perguntas fora de distribuição é obrigatória antes do deploy.
O que a comparação não resolve
Nenhuma abordagem elimina a alucinação em tarefas generativas abertas. A razão é estrutural: o modelo prevê texto plausível, não verifica verdade. As mitigações reduzem a probabilidade de erro verificável, mas não a eliminam. Qualquer promessa de ‘zero alucinações’ deve ser tratada com ceticismo.
Além disso, a comparação entre modelos expira rápido: as versões mudam e os resultados de avaliações públicas nem sempre se replicam em domínios internos. A única comparação válida para uma equipe é a que ela faz com seu próprio corpus e suas próprias perguntas.
Como montar uma comparação útil na prática
Reunir um conjunto de 50 a 100 perguntas reais do negócio, com resposta conhecida e com distratores plausíveis. Executar cada opção (modelo + técnica) sobre o mesmo conjunto e medir três coisas: exatidão, afirmações não sustentadas e taxa de abstenção. Revisar manualmente uma amostra das respostas, porque as métricas automáticas de fidelidade também erram.
Um detalhe que só aparece com experiência: as alucinações mais perigosas não são as evidentes, mas as que misturam um dado correto com um inventado na mesma frase. O revisor humano tende a validar a frase inteira porque a primeira metade é verdadeira. A revisão deve ser feita afirmação por afirmação, não resposta por resposta.
Recomendação por cenário
Para atendimento ao cliente com base documental, RAG com abstenção calibrada e revisão de citações. Para pesquisa e atualidades, busca na web com exigência de fonte primária e aviso explícito ao usuário. Para extração de dados estruturados, modelos pequenos com validação por regras e verificação externa. Para conteúdo criativo, assumir que os fatos não são confiáveis e separar geração de verificação humana.
A conclusão da comparação é incômoda, mas honesta: a melhor opção não é o modelo com menos alucinações em abstrato, mas a combinação que torna o erro visível antes que cause dano.