Evals

O que é

No contexto da IA aplicada, os Evals (abreviatura de evaluations) são o equivalente ao controlo de qualidade na indústria tradicional. Não se trata apenas de testar se o modelo responde, mas de medir com precisão quão bem ele responde de acordo com critérios objetivos. Enquanto no software tradicional temos testes unitários (onde 2+2 deve ser sempre 4), na IA a saída é probabilística. Os Evals servem para transformar essa incerteza em métricas acionáveis.

Para uma PME, Evals representam a diferença entre lançar um chatbot «por instinto» e lançar um sistema de confiança que não vai inventar descontos ou insultar clientes. É o processo de criar um conjunto de perguntas e respostas de referência (o Gold Dataset) para validar se cada alteração no sistema melhora ou piora o desempenho final.

Como funciona

O processo de Evals assenta em três pilares: o conjunto de dados de teste, a métrica de sucesso e o avaliador.

Primeiro, define-se um conjunto de exemplos representativos do mundo real. Se está a automatizar o apoio ao cliente, este conjunto inclui as 50 perguntas mais frequentes e as respostas corretas esperadas.

Depois, escolhem-se as métricas. Estas podem ser determinísticas (ex: a resposta contém o link correto para o PDF do tarifário?) ou semânticas (ex: o tom da resposta é profissional?).

Por fim, executa-se a avaliação. Atualmente, utiliza-se muito o conceito de «LLM-as-a-judge», onde um modelo mais potente (como o GPT-4o) avalia a resposta de um modelo mais simples ou específico, verificando se houve alucinação ou se a informação está presente no contexto fornecido. O resultado final é um relatório que diz, por exemplo: «Esta versão do seu sistema é 12% mais precisa a responder sobre faturas do que a versão anterior».

Quando usar

Os Evals devem ser introduzidos logo após a fase de prova de conceito (PoC). Sempre que decidir que a IA vai tocar em dados de clientes ou tomar decisões de negócio, os Evals tornam-se obrigatórios.

São cruciais em quatro momentos:

1. Seleção de Modelos: Comparar se o modelo da OpenAI, da Anthropic ou um modelo open-source serve melhor para o seu caso específico ao menor custo.
2. Otimização de Prompts: Quando altera uma instrução no sistema, precisa de garantir que essa mudança não estragou respostas que já estavam a funcionar bem (regressão).
3. Mudança de Infraestrutura: Se mudar de uma base de dados vetorial para outra ou alterar a forma como os documentos são fatiados (chunking).
4. Monitorização em Produção: Para verificar se o desempenho do sistema está a degradar-se ao longo do tempo com novos tipos de perguntas dos utilizadores.

Erros comuns

O erro mais frequente nas PMEs é confiar no «Vibe Check». Isto acontece quando o dono do projeto faz três perguntas à IA, gosta das respostas e assume que o sistema está pronto. Dez minutos depois, um cliente faz uma pergunta ligeiramente diferente e o sistema falha catastroficamente porque não houve uma avaliação sistemática.

Outro erro é focar-se em métricas académicas (como MMLU ou BLEU) que não refletem o valor de negócio. Para uma empresa que vende software de gestão, não interessa se o modelo sabe história da arte; interessa se ele sabe interpretar um ficheiro SAF-T.

Por fim, ignorar os casos de fronteira (edge cases). Um bom sistema de Evals deve incluir propositadamente perguntas mal formuladas, agressivas ou fora de âmbito para testar a robustez dos filtros de segurança e a capacidade de negação do modelo.

Exemplo prático para uma PME

Imagine uma imobiliária portuguesa que criou um assistente para qualificar leads via WhatsApp. O assistente deve extrair o orçamento do cliente, a zona preferida e o tipo de imóvel, inserindo estes dados no CRM.

Sem Evals, a imobiliária corre o risco de a IA confundir «quero morar perto de Sintra» com «quero morar em Sintra», enviando leads erradas para os agentes.

Para implementar Evals, a imobiliária cria uma folha de Excel com 30 interações reais passadas. Para cada uma, define o que seria a extração perfeita. Sempre que a equipa técnica atualiza o motor de IA, corre esses 30 exemplos automaticamente. Se o sistema passar de 28/30 acertos para 25/30, a atualização é rejeitada, mesmo que a IA pareça «mais inteligente» na conversa geral. Isto garante que a operação comercial nunca seja prejudicada por instabilidade técnica.

Perguntas frequentes

Q: Preciso de saber programar para fazer Evals? R: Não necessariamente. Embora existam ferramentas para programadores, muitas plataformas modernas permitem criar e correr conjuntos de testes usando interfaces visuais ou simples folhas de cálculo, onde compara a resposta da IA com a resposta ideal.

Q: Quanto custa implementar um sistema de avaliação? R: O custo principal é o tempo inicial para definir o «Gold Dataset» (as perguntas e respostas padrão). O custo técnico de correr os testes em si é marginal, representando habitualmente menos de 5% do custo total de operação da IA.

Q: Posso usar a própria IA para avaliar a IA? R: Sim, é a prática padrão atual. É muito mais rápido e barato usar um modelo robusto para avaliar centenas de respostas do que ter um humano a lê-las todas. No entanto, deve sempre fazer uma auditoria humana a uma pequena amostra das avaliações da IA para garantir o alinhamento.

Q: Quantos exemplos preciso para ter um Eval fiável? R: Para uma PME, começar com 20 a 50 exemplos críticos já oferece uma segurança drasticamente superior a não ter teste nenhum. À medida que o sistema cresce, pode expandir para centenas de casos.

• 01Testar se o chatbot responde corretamente sobre política de devoluções em 50 cenários diferentes.
• 02Comparar a precisão de extração de dados de faturas entre o GPT-4 e o Claude 3.5 Sonnet.
• 03Garantir que uma alteração no prompt não fez com que a IA começasse a ignorar instruções de segurança.
• 04Medir a taxa de alucinação num sistema de RAG após atualizar a base de documentos técnicos.

Quer usar Evals na sua empresa?

30 minutos, gratuito, sem compromisso. Dizemos onde encaixa.

Diagnóstico IA gratuito