Em um experimento conduzido pela Stanford Law School, respostas de inteligência artificial a dúvidas típicas de calouros de Direito foram preferidas às de professores em três de cada quatro avaliações feitas às cegas por docentes de 14 faculdades americanas. Trata-se de um retrato pontual, feito com perguntas de contratos e de primeiro ano, mas que obriga o ensino jurídico a encarar uma pergunta antiga sob nova luz: o que, afinal, torna uma explicação verdadeiramente útil para quem está aprendendo. O alcance do achado ainda depende de outros grupos repetirem o estudo e de como as escolas decid
IA supera professores de Direito em 75% das avaliações em estudo da Universidade Stanford
Em três de cada quatro comparações, a IA foi escolhida como mais benéfica
Mark
O número que salta aos olhos é 75%. O que exatamente ele mede?
Mimi
Mede a proporção de comparações em que os professores-avaliadores acharam a resposta da IA mais útil do que a humana. Eles não sabiam quem era o autor de cada texto.
Mark
E as perguntas, quem escolheu?
Mimi
Professores de 14 faculdades americanas montaram a lista de 40, representando dúvidas comuns de calouros, principalmente em contratos.
Luke
Vale notar o recorte. São 40 perguntas de uma área, num nível inicial. Não dá para estender isso a todo o ensino de Direito.
Mark
Mas o autor disse que as perguntas não eram fáceis.
Mimi
Sim, Julian Nyarko afirmou que não eram simples nem tinham respostas óbvias, e que isso o surpreendeu.
Luke
Isso é a leitura dele, não um dado independente. Também não sabemos, pela reportagem, quantos avaliadores houve nem como definiram "útil".
Mark
E a questão do dano?
Mimi
Menos de 4% das respostas da IA foram vistas como potencialmente prejudiciais, contra 12% das dos professores.
Luke
É um dado relevante, mas é a percepção dos avaliadores. A reportagem não detalha que tipo de erro foi considerado prejudicial. E falta replicação.
El Pulso
- Quarenta perguntas de calouros foram submetidas a professores que não sabiam se estavam lendo uma pessoa ou uma máquina.
- A IA venceu em três de cada quatro comparações, e os modelos Gemini 2.5 Pro e NotebookLM chegaram ao nível do professor mais bem avaliado.
- Respostas prejudiciais ao aprendizado apareceram em menos de 4% dos textos da IA, contra 12% dos escritos por docentes.
- O resultado vale para perguntas de primeiro ano em contratos, e a escala do impacto depende de replicação e das decisões das faculdades.
Em um experimento conduzido pela Stanford Law School, respostas de inteligência artificial a dúvidas típicas de calouros de Direito foram preferidas às de professores em três de cada quatro avaliações feitas às cegas por docentes de 14 faculdades americanas. Trata-se de um retrato pontual, feito com perguntas de contratos e de primeiro ano, mas que obriga o ensino jurídico a encarar uma pergunta antiga sob nova luz: o que, afinal, torna uma explicação verdadeiramente útil para quem está aprendendo. O alcance do achado ainda depende de outros grupos repetirem o estudo e de como as escolas decidirem usar essas ferramentas.
Quarenta perguntas, do tipo que um calouro de Direito leva ao professor depois da aula, sobretudo em contratos. Com esse material, a Stanford Law School montou um experimento cujo resultado surpreendeu os próprios autores: respostas de inteligência artificial foram consideradas mais úteis do que as de professores em 75% das avaliações.
Docentes de 14 faculdades americanas elaboraram as perguntas e escreveram suas próprias respostas. Depois, dois sistemas, o Google Gemini 2.5 Pro e o NotebookLM, responderam às mesmas questões. Quem avaliou não sabia quem era o autor de cada texto, o que dá peso ao resultado, já que o julgamento não foi influenciado por expectativas.
O desempenho da IA igualou o do professor mais bem avaliado do grupo. Julian Nyarko, principal autor, disse que a equipe se surpreendeu com a dimensão dos números, especialmente porque as perguntas não tinham respostas óbvias.
O estudo também observou os riscos: menos de 4% das respostas da IA foram vistas como potencialmente prejudiciais ao aprendizado, contra 12% das humanas. Ainda assim, os limites são claros. O trabalho mede desempenho em perguntas de primeiro ano, concentradas em contratos, e não o ensino jurídico como um todo. Seu efeito prático dependerá de novas replicações e de como as faculdades escolherem usar essas ferramentas.
Quarenta perguntas, todas elas do tipo que um aluno do primeiro ano de Direito costuma levar ao professor depois da aula, sobretudo em contratos. Foi com esse material que a Stanford Law School montou um experimento cujo resultado, divulgado na quarta-feira, chamou a atenção até dos próprios autores: respostas geradas por inteligência artificial foram consideradas mais úteis do que as escritas por professores em 75% das avaliações.
O desenho do estudo envolveu docentes de 14 faculdades de Direito dos Estados Unidos. Foram eles que elaboraram a lista com as 40 perguntas, pensada para representar as dúvidas mais comuns dos calouros. Depois, cada professor produziu suas respostas, e dois sistemas de IA, o Google Gemini 2.5 Pro e o NotebookLM, responderam às mesmas questões.
Em seguida veio a etapa de avaliação. Os próprios professores analisaram as respostas sem saber quem era o autor de cada uma, se uma pessoa ou uma máquina. Esse cuidado, a chamada avaliação cega, é o que dá peso ao resultado: o julgamento não foi contaminado pela expectativa sobre quem escreveu o quê.
O resultado foi que, em três de cada quatro comparações, a resposta da IA foi escolhida como a mais benéfica para o estudante. O desempenho dos modelos também se equiparou ao do professor mais bem avaliado entre os participantes, ou seja, a IA não superou apenas a média do grupo, mas chegou ao nível de quem se saiu melhor.
Julian Nyarko, principal autor da pesquisa, disse que a equipe se surpreendeu com a dimensão dos números. Segundo ele, as perguntas não eram simples nem tinham respostas óbvias, o que, na leitura dele, reforça a capacidade desses modelos de lidar com raciocínio jurídico complexo.
O estudo olhou também para o risco. Menos de 4% das respostas geradas pela IA foram classificadas como potencialmente prejudiciais ao aprendizado dos estudantes. Entre as respostas escritas pelos professores, o índice foi de 12%, três vezes maior.
Os limites do trabalho são claros pelo próprio desenho: foram perguntas de primeiro ano, concentradas em contratos, avaliadas por professores. O que o estudo mostra é desempenho nesse tipo de tarefa, não uma medida geral do ensino jurídico. Seu efeito prático dependerá de outros grupos repetirem o experimento e de como as faculdades decidirem usar essas ferramentas.
Citas Notables
Os pesquisadores se surpreenderam com a dimensão dos resultados, e as perguntas não eram simples nem tinham respostas óbvias.— Julian Nyarko, principal autor do estudo (paráfrase)
Quieres la nota completa?
Lee el original en O GLOBO ↗
Technology