Modelos de linguagem detectaram padrões compatíveis com textos gerados ou revisados por IA em relatório da PF do Inquérito das Fake News. ChatGPT estimou 75% e Claude 73%; Gemini 5% e Grok 15% deram resultados contrários.
Um relatório de inteligência da Polícia Federal usado pelo ministro Alexandre de Moraes, do Supremo Tribunal Federal (STF), no Inquérito das Fake News contém padrões de linguagem e de organização compatíveis com textos produzidos ou revisados com auxílio de inteligência artificial (IA), segundo análises feitas por modelos de linguagem.
Dois modelos avaliaram alta probabilidade de participação de IA na elaboração do material: o ChatGPT estimou 75% e o Claude, 73%. Outros dois modelos submetidos ao mesmo teste deram respostas opostas: o Gemini apontou 5% e o Grok, 15%.
Como critérios para a avaliação foram citados repetição excessiva de palavras ou estruturas sintáticas, regularidade do estilo, construções semelhantes a modelos predefinidos, naturalidade do discurso, contextualização e qualidade dos exemplos apresentados no texto.
As quatro ferramentas receberam o mesmo documento e o mesmo comando de análise. O prompt foi elaborado pelo professor Marcelo Sabbatini, da Universidade Federal de Pernambuco, com o objetivo de identificar características aparentes associadas a textos gerados por IA. As avaliações, porém, não permitem determinar a autoria do documento nem comprovar o emprego da tecnologia.
Entre os indícios apontados estiveram estruturas repetidas ao longo do relatório. ChatGPT e Claude destacaram que o documento apresenta várias vezes uma sequência com fatos, avaliação, grau de confiança, hipóteses alternativas, riscos e recomendações. Expressões como “Avalia-se que”, “Registre-se” e “Grau de confiança” aparecem com frequência, assim como frases construídas em oposição — por exemplo, “não é X, mas Y”.
O Claude chamou atenção ainda para frases de efeito no encerramento de análises e para trechos que explicam os limites das próprias conclusões. Para o ChatGPT, a repetição dessas estruturas e a organização dos argumentos são compatíveis com o uso de IA na redação, organização ou revisão do relatório, sem que isso signifique necessariamente que todo o conteúdo tenha sido produzido pela tecnologia.
As duas ferramentas também observaram que o relatório traz dados e referências específicas — como datas, números de procedimentos, leis, valores, nomes e referências a documentos — e entenderam que esse nível de detalhe pesa contra a hipótese de um texto totalmente genérico produzido por IA, embora não afaste a possibilidade de uso da tecnologia para estruturar ou revisar informações fornecidas por pessoas.
Gemini e Grok, por sua vez, interpretaram os mesmos padrões como possivelmente decorrentes da natureza técnica e institucional do documento. O Gemini classificou a probabilidade de geração por IA como “muito baixa / improvável” e atribuiu índice de 5%. O Grok considerou baixa a possibilidade e estimou 15%, ressaltando que repetições como “Grau de confiança”, “Avaliação” e as marcações “[D]”, “[R]” e “[A]” podem ter função metodológica.
“Em hipótese nenhuma assuma que é um veredito inquestionável e objetivo”
O autor do prompt destacou a necessidade de cautela na interpretação dos resultados, lembrando que ferramentas de detecção não devem servir como prova de autoria. No conjunto, as estimativas variaram de 5% a 75%, mostrando divergência entre os modelos apesar da identificação de padrões semelhantes no texto.
