Título: Avaliação do Raciocínio Jurídico em Modelos de Linguagem com Base na Estrutura IRAC.
Autores: Janderson Glauber Mendes dos Santos, Pedro Calais, Wagner Meira Junior, Ricardo Shen, Aziz Tuffi Saliba, Anisio Mendes Lacerda, Ana Luísa Vaz Barbosa Araújo, Fernanda Alves de Carvalho, Gabriel Rolla Ferreira & Victor Augusto Hon Fonseca
Resumo: A crescente aplicação de Grandes Modelos de Linguagem (LLMs) no domínio jurídico tem levantado questões fundamentais sobre suas reais capacidades de raciocínio. Embora esses modelos consigam gerar respostas juridicamente plausíveis, ainda não está claro se de fato realizam raciocínio jurídico ou apenas reproduzem padrões memorizados a partir dos dados de treinamento. Neste artigo, propomos uma metodologia para avaliar as habilidades de raciocínio jurídico dos LLMs com base na tradicional estrutura IRAC (Issue, Rule, Application, Conclusion), amplamente utilizada no ensino e na prática profissional do Direito. Nossa abordagem decompõe a resolução de problemas jurídicos em intervenções instrucionais guiadas, aplicadas a questões de múltipla escolha de quatro edições do Exame da Ordem dos Advogados do Brasil (OAB). Avaliamos sete LLMs — ChatGPT 4.1, Claude 3.5 Haiku, Gemini 1.5 e 2.0, Sabia 3.1, Sabiazinho 3 e DeepSeek-R1 14B — e analisamos seu desempenho em diferentesáreas jurídicas. Os resultados mostram que a maioria dos modelos supera a nota mínima de aprovação (50%), com acurácia variando entre 45% e 90% nas quatro provas analisadas. A inserção explícita das regras jurídicas (componente R) foi o fator isolado de maior impacto, elevando em alguns casos a taxa de acerto em até 20 pontos percentuais — especialmente entre modelos menores. Além disso, os modelos apresentam desafios específicos porárea, como a identificação de normas aplicáveis em Direito Eleitoral ou a delimitação de controvérsias jurídicas centrais em Direito Civil. Ao tratar cada componente do IRAC como um proxy para rastreamento de conhecimento, nosso método permite uma avaliação mais refinada do raciocínio jurídico e sugere novos caminhos para modelar a dinâmica de aprendizagem dos LLMs em domínios estruturados e de alta complexidade, como o Direito.
Palavras-chave: Large language models; Legal reasoning; Law and technology.
Páginas: 8
Código DOI: 10.21528/CBIC2025-1191464
Artigo em PDF: CBIC_2025_paper1191464.pdf
Arquivo BibTeX:
CBIC_2025_1191464.bib