Título: Modelos de linguagem são poliglotas? Uma avaliação em tarefas de raciocínio sobre grafos
Autores: Erik Jhones Freitas Do Nascimento, Isabelly Pinheiro, Tarciano S. Filho, Amauri Holanda Souza Junior & João Victor de Souza Albuquerque
Resumo: Modelos de linguagem de larga escala ( large language models, LLMs) têm se destacado como tecnologias revolucionárias por sua capacidade de gerar textos com qualidade similar à escrita humana em diversos idiomas e contextos. Embora originalmente projetados para dados textuais, esses modelos estão sendo cada vez mais utilizados para processar dados de diferentes modalidades, incluindo imagens e grafos. Nesse contexto, embora trabalhos recentes tenham se concentrado no desenvolvimento de novos benchmarks e métodos de codificação de grafos para LLMs, o impacto do idioma no desempenho preditivo desses modelos ainda permanece amplamente inexplorado. Este é o primeiro estudo (até onde se sabe) sobre o impacto de diferentes idiomas do prompt de entrada na performance de LLMs para tarefas de “raciocínio” envolvendo grafos. Mais especificamente, foi verificado como as acurácias de duas classes de LLMs (Llama e Gemma) variam em função do idioma ao longo de diferentes tipos de codificação de grafos (e.g., lista de adjacências) e tarefas (e.g., contagem de arestas). Além disso, foram considerados quatro idiomas: inglês, português, espanhol e mandarim. Notavelmente, os resultados mostram que existe um impacto significativo do idioma na performance dos LLMs, especialmente para codificadores textuais de grafos que produzem textos mais longos. Além disso, a escolha ótima de LLM para uma dada tarefa é altamente sensível à escolha de idioma e codificador. De maneira geral, o trabalho fornece evidências que LLMs possuem diferentes níveis de fluência a depender do idioma, da tarefa e da representação textual dos grafos de entrada.
Palavras-chave: LLMs; evaluation; graph learning.
Páginas: 7
Código DOI: 10.21528/CBIC2025-1191301
Artigo em PDF: CBIC_2025_paper1191301.pdf
Arquivo BibTeX:
CBIC_2025_1191301.bib