Os detectores de texto de IA estão falhando — e o Substack acabou de adotar um

Duas notícias caíram quase juntas nesta semana e, colocadas lado a lado, formam um alerta importante para qualquer pessoa que escreve, estuda ou contrata. De um lado, o Substack — uma das maiores plataformas de newsletters do mundo — passou a usar uma ferramenta para identificar textos feitos por inteligência artificial. De outro, uma pesquisa mostrou que esses detectores deixam passar até 18% dos textos gerados por IA quando o modelo imita um estilo de escrita específico.

Ou seja: no exato momento em que essas ferramentas ganham mais poder de decisão, cresce a evidência de que elas não são confiáveis. E isso tem consequências práticas para o aluno, o professor, o freelancer e o recrutador.

O que o Substack fez

O Substack integrou uma ferramenta da empresa Pangram para detectar conteúdo gerado por IA em textos com mais de 100 palavras. A ideia é ajudar leitores e a própria plataforma a distinguir o que foi escrito por uma pessoa do que saiu de um modelo como o ChatGPT. Num ambiente em que a confiança do leitor é a moeda principal, faz sentido querer sinalizar a origem do texto.

O problema não é a intenção. É a ferramenta.

Por que os detectores erram tanto

Detectores de IA funcionam procurando padrões típicos de máquina: frases previsíveis demais, ritmo uniforme, escolhas de palavra "certinhas" que humanos raramente fazem de forma tão regular. O truque é que os modelos atuais aprenderam a imitar estilos humanos — e, quando fazem isso, apagam justamente as pistas que os detectores procuram.

Foi o que a pesquisa desta semana mediu. Quando a IA foi instruída a escrever no estilo de um autor específico, os principais detectores erraram em até 18% dos casos, classificando texto de máquina como se fosse humano. A escrita científica, mais formal e padronizada, se mostrou especialmente vulnerável.

Um detector que erra quase um em cada cinco textos não é uma prova — é, no máximo, uma pista frágil. E pistas frágeis não deveriam decidir a nota de um aluno ou uma vaga de emprego.

Os dois tipos de erro — e por que o segundo é pior

Existem duas formas de a ferramenta falhar, e é importante separar as duas:

• Falso negativo: o texto foi feito por IA, mas o detector diz que é humano. Foi o erro medido na pesquisa (até 18%). Aqui, quem quer trapacear passa despercebido.
• Falso positivo: o texto foi escrito por uma pessoa, mas o detector aponta como IA. Esse é o mais cruel, porque acusa injustamente. Já há casos de estudantes reprovados e profissionais barrados por textos genuinamente seus que foram sinalizados por engano.

Escritores mais formais, pessoas que redigem em um segundo idioma e autores de textos técnicos costumam ser os mais prejudicados pelos falsos positivos — justamente por escreverem de um jeito mais "arrumado", que a ferramenta confunde com máquina.

O que fazer com essa informação

Nada disso significa que os detectores são inúteis. Significa que eles devem ser tratados como um sinal, e não como um veredito. Algumas atitudes práticas:

• Se você escreve: guarde rascunhos, histórico de edições e anotações. Um documento com versões salvas ao longo do tempo é a melhor defesa contra uma acusação de "isso foi feito por IA".
• Se você avalia ou contrata: nunca decida com base só no detector. Use-o como ponto de partida para uma conversa, um pedido de explicação ou uma verificação humana — não como sentença final.
• Se você é leitor: desconfie tanto do "selo de humano" quanto do "selo de IA". Nenhum dos dois é garantia. O melhor filtro continua sendo a qualidade e a coerência do que está escrito.

O fundo da questão

Estamos entrando numa fase em que ninguém consegue provar, com segurança técnica, se um texto foi escrito por uma pessoa ou por uma máquina. As ferramentas correm atrás, mas os modelos que elas tentam pegar evoluem mais rápido. O movimento do Substack mostra que a demanda por "carimbar" a origem do conteúdo é real e vai crescer — só que a tecnologia ainda não entrega essa certeza.

Por isso, o mais sensato agora é ajustar a expectativa: trate qualquer resultado de detector de IA com a mesma cautela que você teria diante de um palpite bem-informado. Útil para levantar a sobrancelha. Perigoso para bater o martelo.