A IA venceu o professor?

Dezesseis professores de Direito Contratual receberam a incumbência de responder, em até três minutos, às perguntas que alunos fazem depois da aula. Sem consultar nada, do jeito que responderiam no corredor da universidade. Dois modelos do Google responderam às mesmas perguntas. Depois, os próprios professores leram pares de respostas anonimizadas e apontaram qual entregariam a um aluno. Em 2.918 comparações cegas, apontaram a resposta da máquina três vezes em cada quatro.

O estudo saiu na universidade de Stanford no fim de maio, com docentes de quatorze faculdades e, entre os autores, os responsáveis pelo casebook adotado nas aulas.

O principal dado que circulou foi o placar isolado de 75% de preferência pela IA. Lido isoladamente, esse dado induz à conclusão errada. A medição não foi de quem domina mais a matéria. Foi de qual resposta um professor preferiria dar a um calouro numa conversa de plantão de dúvidas.

O placar e o que ele esconde

A condição da disputa está nas instruções entregues aos professores. Eles escreveram de memória, de afogadilho, com o relógio correndo, proibidos de pesquisar, simulando a pressa de quem tem uma fila de alunos e uma reunião de colegiado logo em seguida. O modelo de IA respondeu sem relógio e sem cansaço, ajustado para noventa palavras. A comparação coloca o professor apressado de um lado e a ferramenta em condições ideais do outro. Essa assimetria sustenta boa parte do resultado. É bem verdade que os autores do estudo não escondem esse ponto. Chamam o achado de indicação encorajadora, deixam claro que mediram preferência por resposta e registram que não avaliaram aprendizado.

Onde a máquina foi mesmo boa

Reduzir tudo à desvantagem do humano seria fácil e incompleto. As respostas dos modelos quase nunca foram marcadas como capazes de atrapalhar o aluno: 3,5% contra uma média de 12% entre os professores, alguns deles passando de um terço. E os avaliadores convergiram entre si além do que a simples preferência pela IA exigiria, sinal de que aplicavam um padrão profissional compartilhado, ainda que nunca formulado por escrito. Esse é o achado que interessa a quem advoga. Num terreno sem resposta única, a máquina acertou o tom do juízo que os especialistas reconhecem como bom.

Há um senão que o próprio estudo isola. O preditor mais forte da preferência foi o comprimento da resposta. Texto mais longo ganhou mais vezes, com folga estatística larga. Os autores demonstram, por calibração, que o estilo não explica tudo, e o argumento se sustenta. A constatação de que a resposta mais completa na aparência convence mais soa familiar para advogados que já usaram as ferramentas de inteligência artificial.

Por que encher de documento não resolveu

Porém, um resultado contraria a intuição de quem monta sistema jurídico sobre IA. O Gemini sem fontes externas surpreendentemente superou o NotebookLM, que tinha o casebook inteiro à disposição por busca aumentada. O modelo cru bateu o modelo ancorado no material. Os autores levantam como hipótese a diluição de contexto, ou seja, o efeito de o documento longo afogar o trecho que importa. E isso é relevantíssimo para para quem alimenta uma ferramenta com processos inteiros esperando ganho automático. O aviso vale: volume de fonte não é qualidade de resposta, e às vezes trabalha contra.

A pergunta que o estudo não fez

Plantão de dúvidas é o cenário de menor risco que o Direito oferece. A pergunta é curta, não há fato a apurar, nenhum prazo correndo, nenhuma parte do outro lado, nenhum cliente nem consequência sobre a mesa. O que se mede ali é a preferência por uma explicação, não a qualidade de uma decisão. Importante lembrar que o estudo é honesto quanto a esse limite e não reivindica mais do que encontrou.

É nesse recorte que a ferramenta de inteligência artificial desenhada especificamente entra no escritório, garantindo segurança. A primeira camada de esclarecimento, a doutrina destrinchada antes que o raciocínio comece. O associado incansável que explica o caminho, não o que define a estratégia nem o que assina a peça. A distância entre essas funções é o que um teste cego de plantão de dúvidas não chega a tocar.

O tamanho da amostra pede cautela antes de transportar qualquer conclusão. Trata-se, no estudo de Direito Contratual dos EUA, do primeiro ano, um casebook específico, com sobrerrepresentação das faculdades de elite. Então é importante lembrar que nada disso se converte na prática brasileira sem ajuste. O ajuste começa por reconhecer que o cenário medido é o mais controlado possível. A audiência, a perícia, o recurso com prazo fatal ficaram de fora por construção.

Explicar bem uma doutrina e decidir bem um caso são tarefas vizinhas que o estudo finalmente separou no laboratório. A máquina já faz a primeira. A segunda continua sendo o lugar onde o advogado trabalha.