Escolher entre um modelo de linguagem grande (LLM) e um pipeline clássico de processamento de linguagem natural (NLP) não é uma questão de moda, mas de adequação técnica. Esta lista de verificação foi pensada para que você a use como filtro antes de comprometer orçamento, infraestrutura ou uma equipe inteira na direção errada. Cada ponto inclui a nuance que costumamos aprender na prática: quando a resposta óbvia falha.
Como usar esta checklist
Não é um questionário de sim ou não. Marque cada caixa com evidência (um teste, um documento, uma medição), não com uma intuição. Se você não consegue preencher uma caixa com dados, essa caixa é precisamente onde seu projeto vai quebrar em produção.
1. Defina a tarefa com precisão cirúrgica
1.1 É uma tarefa fechada ou aberta?
Classificar 40.000 tickets em 12 categorias fixas é uma tarefa fechada. Resumir conversas heterogêneas é uma tarefa aberta. Os modelos tradicionais (regressão logística sobre TF-IDF, SVM, CRF para rotulagem de sequências, modelos de tópicos como LDA) continuam competitivos em tarefas fechadas com vocabulário estável e fronteiras bem definidas. Os LLMs brilham quando a saída não pode ser enumerada de antemão.
1.2 A etiqueta correta é inequívoca?
Se duas pessoas especialistas não concordam ao rotular o mesmo exemplo, um LLM tenderá a produzir respostas plausíveis, mas inconsistentes entre execuções, e um modelo clássico simplesmente aprenderá o ruído. Antes de escolher tecnologia, meça a concordância entre anotadores. Sem essa métrica, qualquer comparação posterior é fumaça.
1.3 Você precisa de extração estruturada ou de geração?
Extrair entidades, relações e datas de contratos é um problema de extração. Um LLM pode fazer isso com formato JSON forçado, mas um modelo de reconhecimento de entidades treinado com dados próprios costuma ser mais barato por documento, mais rápido e mais estável diante de variações de formato. A geração livre, por outro lado, é território quase exclusivo dos LLMs.
2. Audite seus dados antes de auditar modelos
2.1 Volume e desbalanceamento
Com 300 exemplos rotulados por classe, um modelo clássico bem ajustado pode ser suficiente. Com 30, nenhum dos dois funcionará bem, e o LLM precisará de exemplos no prompt (aprendizagem em contexto) ou ajuste fino, que não sai de graça. Verifique o desbalanceamento: na classificação de fraude ou de incidentes críticos, a classe minoritária é a que importa e a que tem menos dados.
2.2 Domínio e jargão
Um LLM generalista conhece o espanhol padrão, mas não necessariamente o jargão interno da sua empresa, códigos de produto ou abreviações do seu setor. Os modelos clássicos também não, mas seu treinamento é mais barato e você pode injetar vocabulário controlado sem retreinar um modelo de bilhões de parâmetros.
2.3 Sensibilidade e residência do dado
Se o texto contém dados pessoais, históricos clínicos ou informações sob sigilo contratual, enviar cada documento a uma API externa exige uma avaliação de riscos que muitas organizações não fizeram. Os modelos clássicos são executados na sua própria infraestrutura com menor superfície de exposição. Os LLMs auto-hospedados existem, mas mudam por completo o cálculo de custos e de equipe necessária.
3. Calcule o custo real, não o custo por token
3.1 Custo por inferência versus custo por manutenção
O preço por token de um LLM parece baixo até você multiplicar por milhões de documentos e adicionar novas tentativas, validações e tokens de contexto. Um modelo clássico tem um custo de inferência quase desprezível, mas carrega um custo de manutenção: retreinamentos periódicos, gestão de features, deriva do modelo (data drift). A pergunta correta não é qual é mais barato hoje, mas qual será dentro de dois anos com seu volume projetado.
3.2 Latência e experiência do usuário
Um classificador linear responde em milissegundos; uma chamada a um LLM com contexto longo pode levar segundos. Se a tarefa está no caminho crítico de uma interface (autocompletar, moderação em tempo real, roteamento de chats), essa diferença é decisiva. Já vi equipes migrarem um classificador de intenções para um LLM e descobrirem que o tempo de resposta se multiplicava por dez sem melhoria perceptível na precisão.
3.3 Custo de avaliação
Avaliar um LLM é mais caro e mais difuso do que avaliar um classificador: você precisa de conjuntos de referência, critérios de qualidade às vezes subjetivos e revisão humana. Orce esse esforço antes de começar; segundo documentação do setor, a avaliação costuma consumir mais tempo do que o previsto.
4. Verifique a reprodutibilidade e a auditabilidade
4.1 Você precisa explicar cada decisão?
Em setores regulados (seguros, bancos, saúde, administração pública) muitas vezes é preciso justificar por que um sistema rejeitou uma solicitação. Um modelo de regressão com coeficientes interpretáveis ou uma árvore de decisão se explica com relativa facilidade. Um LLM gera uma justificativa em linguagem natural que pode soar convincente e não corresponder ao raciocínio real. A explicabilidade aparente é um risco, não uma vantagem.
4.2 A saída deve ser idêntica diante da mesma entrada?
Os LLMs com amostragem estocástica não garantem isso. Você pode fixar a temperatura em zero, mas isso não elimina todas as fontes de variação (versões do modelo, mudanças do provedor, contexto). Os modelos clássicos são determinísticos por design. Se seu caso de uso exige auditoria repetível, isso pesa mais do que alguns pontos de precisão.
4.3 Versionamento e dependência de provedor
Um LLM hospedado pode mudar de comportamento sem aviso quando o provedor atualiza o modelo. Seu pipeline clássico só muda quando você o muda. Documente como você vai fixar versões e o que fará se o provedor retirar a que você usa.
5. Avalie o esforço de engenharia e a equipe
5.1 Você tem quem mantenha prompts ou quem mantenha features?
Um LLM desloca o trabalho da engenharia de características para o design de prompts, a validação de saídas e os testes de regressão. Um modelo clássico exige perfis mais orientados a dados e estatística. Nenhum dos dois caminhos é gratuito; escolha o que sua equipe possa sustentar ao longo do tempo.
5.2 Saídas não estruturadas e validação
Se o LLM devolve texto livre, você precisará de camadas de validação, novas tentativas e tratamento de erros. Se devolve JSON forçado, precisará de esquemas estritos e tolerância a falhas de formato. Conte essas peças no design; não são um detalhe.
5.3 Testes de regressão
Com modelos clássicos, uma suíte de testes com métricas fixas costuma bastar. Com LLM, convém manter um conjunto dourado de casos e comparar respostas entre versões, aceitando certa variabilidade. Se você não tem esse conjunto, não tem como saber se uma atualização melhorou ou piorou o sistema.
6. Revise as limitações que ninguém menciona nas demos
6.1 Alucinações em tarefas de extração
Um LLM pode inventar uma data que não aparece no documento se o formato sugerir isso. Na extração de dados, isso é uma falha silenciosa e perigosa. Os modelos clássicos de rotulagem de sequências têm seus próprios erros, mas costumam ser erros de omissão ou de fronteira, não invenções.
6.2 Degradação com entradas longas ou ruidosas
O desempenho de um LLM cai quando o texto é muito longo, contém tabelas mal convertidas ou mistura idiomas. Em um caso real de classificação de e-mails de suporte, o pipeline clássico com limpeza específica superava o LLM nas mensagens com citações aninhadas e assinaturas, porque essas partes confundiam o modelo generativo. A lição: a limpeza prévia importa nos dois mundos, e muitas vezes mais do que o modelo escolhido.
6.3 Idiomas e variantes dialetais
Um LLM multilíngue pode funcionar aceitavelmente em muitos idiomas, mas um modelo clássico treinado com dados locais pode superá-lo em uma variante concreta. Se seu corpus é muito específico, teste antes de assumir que o modelo grande vence.
6.4 O que não funciona bem com LLM
Tarefas de altíssima precisão com consequências legais, decisões que devem ser idênticas e auditáveis, processamento massivo com latência mínima e orçamento ajustado, e classificação de vocabulário muito fechado com dados rotulados abundantes. Nesses casos, o LLM adiciona custo e opacidade sem vantagem clara.
6.5 O que não funciona bem com modelos clássicos
Geração de texto coerente, resumo abstrativo, diálogo aberto, adaptação a instruções novas sem retreinar e compreensão de nuances pragmáticas (ironia, intenção implícita). Forçar um modelo clássico a fazer isso produz resultados rígidos e frágeis.
7. Projete o experimento antes de decidir
7.1 Conjunto de avaliação representativo
Reúna exemplos reais, incluindo os casos raros e os ambíguos. Um conjunto de avaliação enviesado para casos fáceis favorece o LLM porque ele impressiona no geral; os casos difíceis são os que revelam diferenças.
7.2 Métricas alinhadas com o negócio
Precisão, recall e F1 são o ponto de partida, mas pergunte qual erro custa mais. Na moderação de conteúdo, um falso negativo pode ser grave; na classificação de leads, um falso positivo incomoda a equipe comercial. A métrica deve refletir essa assimetria.
7.3 Teste híbrido
A dicotomia é falsa em muitos casos. Um padrão habitual é usar um modelo clássico para filtrar 80% dos casos fáceis e reservar o LLM para os ambíguos. Ou usar embeddings e busca semântica (herdeiros de técnicas clássicas) junto a um LLM para gerar a resposta final. Documente essa arquitetura como mais uma opção, não como um fracasso da comparação.
8. Checklist final de decisão
- Defini a tarefa e sei se é fechada ou aberta.
- Medi a concordância entre anotadores humanos.
- Conheço o volume, o desbalanceamento e a qualidade dos meus dados.
- Calculei custo por inferência e custo de manutenção em dois anos.
- Verifiquei a latência admissível no meu caso de uso.
- Sei se preciso de explicabilidade e reprodutibilidade estrita.
- Tenho um plano de versionamento e dependência de provedor.
- Minha equipe pode sustentar a abordagem escolhida (prompts ou features).
- Identifiquei as falhas silenciosas perigosas no meu domínio.
- Testei ambas as abordagens com um conjunto de avaliação representativo.
- Considerei uma arquitetura híbrida antes de descartá-la.
Se você marcou tudo com evidência e não com intuição, a decisão entre LLM e NLP clássico deixa de ser uma aposta e se torna uma escolha documentada. E se ainda não consegue marcar alguma caixa, essa é sua próxima tarefa, não a escolha do modelo.