Em teste com trabalho real de escritório, a melhor IA entregou sem erro menos de uma tarefa em cada dez

Em um teste com trabalho real de escritório de advocacia, o modelo de inteligência artificial mais bem colocado entregou sem nenhuma falha menos de uma em cada dez tarefas. O teste é da Artificial Analysis, empresa independente que avalia esses modelos, e ganhou nova versão em outubro de 2026. Cada tarefa reproduz o pedido que um sócio faz a um associado: os documentos do caso, uma instrução curta e um trabalho a entregar pronto. O resultado mostra sobretudo como os modelos erram.

As tarefas vêm de casos reais

O teste nasceu na Harvey, empresa americana que vende IA para grandes escritórios de advocacia, e foi aberto ao público em 6 de maio de 2026 com o nome de Legal Agent Benchmark. Advogados em exercício tiraram de casos reais as tarefas que um sócio delegaria, em mais de vinte áreas de prática, e escreveram para cada uma a lista de critérios que a entrega precisa cumprir para ser aceita. As instruções são curtas de propósito, com cinquenta palavras em média. Cabe ao modelo descobrir nos documentos o que precisa ser feito.

A Artificial Analysis aplica uma versão própria desse teste sobre mais de cem tarefas que a Harvey mantém fora do acesso público, para que os fabricantes não possam ajustar os modelos a elas. Cada modelo trabalha sozinho em um computador isolado, sem internet, só com os documentos do caso. Lê, procura, escreve e revisa por conta própria até entregar o arquivo pedido.

Um único critério não cumprido reprova a tarefa inteira

Cada critério descreve algo que o trabalho precisa conter ou acertar, de formato, de fato ou de análise, e é avaliado como cumprido ou não cumprido, sem meio-termo. Três modelos de IA de fabricantes diferentes (GPT-6 Sol, Grok 4.7 e Claude Opus 5.5) avaliam cada trabalho entregue, critério por critério. A tarefa só é aprovada por um avaliador quando ele considera cumpridos todos os critérios, e ela vale a fração dos três que a aprovaram: se dois aprovam, vale dois terços.

A versão de outubro, feita em colaboração com a Harvey, acrescentou uma segunda verificação, voltada para fatos inventados. Em estudos conduzidos pela Harvey, profissionais do Direito que compararam dois trabalhos igualmente completos apontaram a invenção de fatos como o fator principal na escolha entre eles. Um modelo de IA lê o trabalho entregue e aponta toda afirmação que não encontra apoio nos documentos do caso, e um segundo modelo revê cada apontamento, confirma ou descarta, e separa os erros graves dos leves. Erro grave é o que levaria quem lê a entender errado um ponto importante do caso: indicar a parte errada, trocar um valor, uma data ou uma obrigação, ou afirmar um fato que muda a conclusão do trabalho. Um único erro grave reprova a tarefa, mesmo com todos os critérios cumpridos; os leves, que não mudam o entendimento jurídico do trabalho, aparecem na tabela de resultados sem afetar a nota.

Os modelos cumprem até 96% dos critérios e no máximo 9,4% das tarefas

Os dez primeiros colocados cumprem entre 86% e 96% do total de critérios avaliados, segundo a tabela do teste. Nenhum teve mais de 9,4% de tarefas aprovadas. Como o teste tem pouco mais de cem tarefas, do primeiro ao terceiro colocado a diferença é de cerca de uma tarefa. Um trabalho jurídico com um valor trocado ou um prazo errado não sai do escritório, por mais que o resto esteja certo, e é essa a régua que o teste aplica.

Os modelos também falham de modos diferentes. O Gemini 3.8 Flash cumpre nove de cada dez critérios e é reprovado porque inventa fatos, com quase 14 erros graves por tarefa em média. O Gemini 3.1 Pro, fora dos dez primeiros, comete cerca de um erro grave por tarefa e é reprovado por entregar trabalho incompleto, com pouco mais da metade dos critérios cumpridos. O GPT-6 Astra comete erro grave em raríssimos casos e é reprovado pelo outro motivo: deixa de cumprir cerca de um em cada dez critérios, o que basta para ficar abaixo de uma tarefa aprovada em cada dez.

A verificação de fatos inventados mudou a classificação. Sem ela, o Muse Spark 1.3 teria 26,7% de tarefas aprovadas; com ela, ficou em 8,9%. Somadas as taxas dos 23 modelos que a tabela mostra, cerca de dois terços das tarefas que seriam aprovadas caíram quando se passou a procurar fato inventado. Eram trabalhos que pareciam prontos, porque cumpriam todos os critérios, e que traziam um erro capaz de levar quem lê a entender errado o caso.

Esse erro passou pela correção dos critérios e só apareceu na verificação à parte, que lê o trabalho contra os documentos do caso. No escritório, quem faz essa leitura é o advogado que conhece o caso e sabe onde procurar: a folha dos autos, a cláusula, a data do protocolo. Com a IA redigindo a maior parte da minuta, a capacidade de conferir passa a ser o que mais pesa no valor da entrega, e o advogado capaz de conferir é o profissional de que esse modo de trabalhar mais depende.

Conferir contra a fonte é o que reduz o risco

Para nós, o dado mais útil do teste é o dos fatos inventados, e ele vale qualquer que seja o direito em jogo. Os modelos tinham os documentos do caso à disposição e, mesmo assim, produziram afirmações graves que esses documentos não sustentam. Reduzir esse risco exige conferir a resposta contra a fonte, afirmação por afirmação, antes que ela saia do escritório.

Até nos melhores modelos, a regra é a entrega com algum erro. A revisão de quem assina faz parte do trabalho, e o ganho de tempo está em revisar uma minuta que já cumpre nove de cada dez critérios. Para escolher a ferramenta, informa mais o teste feito nas próprias tarefas do escritório, com os próprios documentos, do que a ordem de um ranking.

A IA executa, o advogado assina. O que vai aos autos ou ao cliente tem um dono humano que responde por ele, e o teste mostra por que essa assinatura só deve vir depois da conferência.