Experimento envolveu 374 pessoas e teve taxa de erro de 60%

Uma pesquisa desenvolvida no curso de Ciências Sociais da Universidade Regional de Blumenau (FURB) revelou que a maioria das pessoas não é capaz de distinguir com precisão textos gerados por inteligência artificial daqueles escritos por seres humanos. O estudo foi conduzido pela pesquisadora Alana Vitória Conti Deschamps como Trabalho de Conclusão de Curso, sob orientação do professor Maiko Spiess, Doutor em Política Científica e Tecnológica.

A pesquisa teve a participação de 374 voluntários, que responderam a um formulário online dividido em quatro etapas: perfil socioeconômico, avaliação da fluência tecnológica, identificação da autoria de textos e análise crítica de respostas geradas pelo ChatGPT. Mais de 60% das respostas dos participantes foram incorretas. Para os pesquisadores, os resultados demonstram que o atual estágio de desenvolvimento da ferramenta testada já é capaz de simular a escrita humana de forma convincente.

Os pesquisadores intitulam o estudo como um “Teste de Turing sociológico”. A denominação faz referência a um experimento realizado pelo matemático e cientista da computação britânico Alan Turing em 1950 que buscava compreender se uma máquina poderia exibir comportamento inteligente indistinguível de um ser humano. Em linhas gerais, o teste funcionava da seguinte forma: um humano avaliador conversava por meio de texto com dois participantes (um humano e uma máquina) para tentar descobrir qual deles era humano. Se o avaliador não conseguisse fazer essa distinção de forma precisa, a máquina passava no teste, pois foi capaz de “enganar” o avaliador humano.

Deschamps e Spiess partem dos mesmos princípios e adaptam o Teste de Turing para um enfoque sociológico, buscando compreender a relação entre capitais sociais, culturais e econômicos e a habilidade detecção de textos gerados por inteligência artificial. Para isso, adicionaram ao formulário respondido pelos participantes uma série de questões sobre escolaridade, fluência tecnológica e ocupação, por exemplo.

Os resultados foram, em certa medida, surpreendentes para os pesquisadores.  Inicialmente, eles acreditavam que o nível de fluência tecnológica (o conhecimento e familiaridade dos participantes sobre tecnologias digitais) influenciaria positivamente a capacidade dos indivíduos de diferenciar os textos. Mas a análise das respostas aos formulários revelou que mesmo pessoas com alto nível de fluência tecnológica tiveram dificuldade em identificar textos gerados por inteligência artificial. A maior parte do público da pesquisa era familiarizado com ferramentas tecnológicas: mais de 70% dos participantes tinham afinidade tecnológica entre média e alta, de acordo com os critérios criados pelos pesquisadores. Mesmo assim, o índice geral de acerto na detecção dos textos produzidos por IA foi de apenas 35%.

No mesmo sentido, os pesquisadores explicam que a ideia de que indivíduos com maior capital cultural apresentariam melhor desempenho não se confirmou nesse estudo: variáveis como escolaridade também não tiveram relação significativa com melhores resultados na distinção dos textos. Apenas uma participante acertou todas as nove questões propostas: uma jovem, de cerca de 20 anos e nível médio de formação.

Pesquisadores reforçam necessidade de refletir sobre implicações da IA

Na avaliação dos pesquisadores, o estudo contribui para o debate sobre os efeitos sociais e culturais das tecnologias, além de apontar a necessidade de pensar estratégias para promover o uso crítico e consciente das ferramentas de inteligência artificial. “A inteligência artificial veio para ficar. Já tivemos outras revoluções digitais e sabemos que o mercado não vai ceder, ainda mais por ser uma ferramenta que aumenta a produtividade. Ela vai continuar no nosso cotidiano”, destaca a autora da pesquisa.

Deschamps destaca a necessidade de refletir sobre as implicações da inteligência artificial na educação. “Os adolescentes, os jovens, são os que mais vão recorrer a essa ferramenta para fazer uma prova, um trabalho. E eles estão no período de formação de senso crítico e opinião, de entender como o mundo funciona e conquistar sua autonomia. Muitos deles não estão chegando à autonomia, porque o caminho de utilizar a inteligência artificial de qualquer modo, para qualquer coisa, é mais fácil. Essa questão precisa ir para a sala de aula também. Não basta fechar os olhos, fingir que não existe”, avalia. Para a pesquisadora, a solução passa pelo chamado letramento digital, isto é, a capacidade de ler, escrever e interagir de forma crítica com a informação nos ambientes digitais.

Para Spiess, orientador do trabalho, o ineditismo da pesquisa está na abordagem experimental. “Apesar de ser um Trabalho de Conclusão de Curso, tem uma complexidade bastante grande. Foi um trabalho muito interessante e prazeroso de orientar porque ele tem resultados bastante expressivos”, avalia. Deschamps sugere que estudos futuros repliquem o experimento em maior escala, com públicos diferentes ou com outras ferramentas de inteligência artificial. Tais abordagens podem aprofundar a compreensão sobre como diferentes públicos interagem com textos produzidos por IA.

FURB Pesquisa

O trabalho foi tema do programa FURB Pesquisa desta semana: