Como Testar e Avaliar Prompts no Código Usando DeepEval: Guia Dev

Testar respostas de LLMs manualmente no playground do modelo até parecer que tudo está correto é o caminho mais rápido para falhas silenciosas em produção. Quando a instrução do prompt muda ou o modelo é atualizado, não há garantias visuais de que o sistema continuará comportando-se conforme o esperado.

Para resolver a imprevisibilidade dos modelos de linguagem, desenvolvedores estão adotando frameworks de testes unitários para LLMs. Neste artigo, você verá como usar o DeepEval para avaliar prompts programaticamente, automatizando métricas de qualidade diretamente na sua pipeline de código Python.

O que é o DeepEval e por que abandonar a avaliação visual

O DeepEval é um framework open source em Python desenhado para aplicar testes unitários contínuos em respostas geradas por inteligência artificial. Ele funciona de maneira nativa e integrada ao Pytest, permitindo definir asserções baseadas em métricas quantitativas de linguagem.

Diferente dos softwares tradicionais em que a saída é estritamente determinística, um LLM exige uma avaliação baseada em LLMs (método conhecido como LLM-as-a-judge). O DeepEval abstrai esse processo complexo, avaliando quesitos como fidelidade ao contexto original, relevância da resposta, toxicidade e conformidade com regras de negócio.

Os 5 passos para implementar testes de prompts com DeepEval

Para estruturar uma rotina confiável de testes no seu projeto Python, siga o fluxo abaixo utilizando a biblioteca DeepEval.

1. Instale o DeepEval e configure o ambiente

Instale o pacote via pip e configure as credenciais necessárias. O DeepEval utiliza uma chave de API para atuar como avaliador sintético das métricas de qualidade.

2. Estruture o objeto LLMTestCase

Crie instâncias do LLMTestCase contendo a entrada do usuário, a resposta gerada pelo sistema, o contexto de suporte e a resposta esperada.

3. Selecione as métricas de avaliação adequadas

Escolha métricas nativas como FaithfulnessMetric para medir alucinações ou AnswerRelevancyMetric para verificar se a resposta atende ao comando.

4. Execute as asserções com Pytest

Utilize a função assert_test dentro das suas funções de teste. Defina limites numéricos mínimos para aprovar ou reprovar o comportamento do prompt.

5. Integre a avaliação na pipeline de CI/CD

Rode a suíte de testes automaticamente a cada alteração no código. Isso impede que regressões de prompt cheguem ao ambiente final sem validação.

Exemplo prático: Validando um assistente de suporte com Pytest

Considere o cenário em que você construiu um bot de suporte técnico e precisa garantir que a resposta gerada não contenha dados inventados em relação à documentação oficial.

• Definição do contexto: o documento base repassado ao modelo informa explicitamente que solicitações de reembolso só são aceitas em até 30 dias após a compra.
• Execução da métrica: o DeepEval analisa se o output gerado pela sua aplicação se apoia exclusivamente no texto original sem criar regras fictícias.
• Asserção por limiar: o teste falha no Pytest caso a pontuação de fidelidade da resposta fique abaixo do score mínimo de 0.7 estipulado na suíte.

Com poucas linhas de código, você transforma uma checagem subjetiva em uma validação determinística e reproduzível na sua aplicação.

Erros comuns ao testar prompts no código

• Usar igualdade exata de strings. testar respostas de LLMs comparando textos idênticos falha constantemente devido à natureza estocástica e variada da linguagem natural.
• Ignorar custos de API nos testes. executar dezenas de métricas complexas a cada commit sem filtragem pode elevar o custo de chamadas do modelo avaliador.
• Avaliar sem massa de dados diversificada. validar o prompt apenas com casos triviais oculta falhas em cenários de borda e alucinações sob entradas complexas.
• Não calibrar os limites de tolerância. exigir nota máxima em métricas de relevância gera falsos negativos frequentes e torna a suíte de testes instável.

Próximos passos para profissionalizar seus prompts

Integrar o DeepEval no fluxo de desenvolvimento transforma a engenharia de prompt em uma disciplina de engenharia rigorosa. Em vez de adivinhar se a nova instrução melhorou o sistema, você passa a acompanhar métricas claras de evolução a cada mudança.

Comece criando uma suíte enxuta com os dez casos de uso mais críticos da aplicação e expanda a cobertura à medida que novos cenários surgirem nos seus logs de execução.