ChatGPT e seus resumos mais originais do que esperávamos

Shares

Em julho de 2022, muita gente (eu incluso) ficou assombrada com as construções de imagens oferecidas por algoritmos de inteligência artificial, como o Midjourney e o DALL-E. O processo é relativamente simples: você insere uma frase detalhando um contexto ou as características da imagem que deseja criar e o algoritmo reúne as informações e gera as imagens para você.

O uso de algoritmos de inteligência artificial não é uma novidade como vimos aqui [1]. A novidade é que esses — e outros algoritmos — amplificaram o uso dos recursos ao facilitar a sua utilização, ao mesmo tempo em que entregavam resultados incríveis, com um (absurdo) nível de detalhamento e permitindo recriar estilos de artistas consagrados ou criar imagens representando situações hipotéticas (ou absurdas).

A pretensa liberdade criativa proposta pelas ferramentas de IA cobra o seu preço: além dos custos financeiros para gerar imagens além do limite inicial de cada algoritmo, existem questões éticas a respeito de seu uso e dos produtos geradas por elas. Duas importantes são:  imagens criadas via IA podem ser consideradas uma forma de arte equivalente a produzida por seres humanos em traços de pintura reais? Quem é o autor de uma imagem criada com o uso de IA?

Pois bem, a polêmica no uso de recursos de inteligência artificial na produção de conteúdos não se resume as suas possíveis criações artísticas: a criação de textos também passa por discussões éticas sobre os limites das aplicabilidades dos algoritmos de IA. Mais do que a capacidade de criar textos reproduzindo as características de autores famosos na literatura, este tipo de ferramenta consegue organizar resultados de buscas e responder perguntas complexas, gerando textos perfeitamente compreensivos. Em outras palavras: é como se alguém realizasse uma busca no Google e, numa fração de segundos, organizasse e transformasse as informações disponibilizadas em um texto com leitura simples e precisa, o que, ao menos em tese, facilitaria a criação de textos sobre qualquer assunto. Esse é um risco real que a própria Alphabet, dona do Google, sabe que existe e corre para criar ferramentas similares e não perder a sua valiosa fatia no mercado de buscas.

A coisa fica um pouco mais séria quando os recursos de geração de textos que utilizam inteligência artificial são aplicados a textos acadêmicos. Especificamente com o uso do ChatGPT, algoritmo da OpenAI para a criação de textos, é possível criar um artigo científico sobre qualquer tema apenas inserindo as instruções adequadas. Toda a construção do texto, incluindo a coleta de dados e de referências, é feita pelo algoritmo. A coisa é tão surreal que ela foi capaz de escrever um texto acadêmico sobre si mesma, como vimos aqui [2].

Se levarmos em conta que grande parte dos novos algoritmos de IA para geração de imagem e de textos está em fase beta (ou recém-saído dela, como é o caso do DALL-E), pode ser eufórico (ou assustador) pensar nas possibilidades e nas implicações que este tipo de tecnologia terá nos próximos tempos. Recentemente, um preprint [3] publicado no servidor bioRxiv trouxe algo no mínimo interessante [4]:  todos os resumos elaborados pelo algoritmo receberam nota máxima em originalidade. Ou seja: ferramentas de detecção de plágio não identificaram a prática em nenhum dos textos gerados pelo ChatGPT, o que indicaria, a princípio, que eles eram inéditos. Esse é um ponto importante: o rápido avanço dos algoritmos de IA permitiu que resumos à prova de plágio fossem criados em pouco tempo.

Apesar disso, quase dois terços dos resumos acabaram tendo a sua origem em algoritmos de IA detectada. O resultado não foi muito melhor quando seres humanos avaliaram os resumos, como a Nature descreve: “os revisores humanos não fizeram muito melhor: eles identificaram corretamente apenas 68% dos resumos gerados e 86% dos resumos genuínos. Eles identificaram incorretamente 32% dos resumos gerados como sendo reais e 14% dos resumos genuínos como sendo gerados.[5]

De forma geral, o ChatGPT gera resumos e textos críveis [6] o suficiente para correrem o risco de serem aceitos para a publicação. Isso pode ser um problema, já que resumos e textos acadêmicos escritos com a ferramenta podem levar a conclusões errôneas que afetariam as pesquisas científicas e as decisões tomadas a partir delas.

Além disso, há o valor ético da produção do conhecimento científico. O plágio é uma prática inaceitável dentro do contexto científico e a possibilidade de se utilizar uma ferramenta que permite driblar este valor é um problema sério que a ciência e outras atividades relacionadas com a produção intelectual terão de lidar nos próximos tempos. Coisa que até o algoritmo do ChatGPT foi requisitado a fazer [7]

. . . . .

[1] Disponível em: https://ccult.org/visualizacao-de-dados-inspiradas-por-inteligencia-artificial/
[2] Disponível em: https://ccult.org/uma-inteligencia-artificial-escreveu-um-artigo-cientifico-sobre-si-mesma/
[3] O significado do termo, bem como outros significados de termos utilizados na ciência podem ser conferidos aqui: https://ccult.org/o-significado-de-alguns-termos-relacionados-com-a-publicacao-de-uma-pesquisa-cientifica/
[4] GAL, et. al. Comparing scientific abstracts generated by ChatGPT to original abstracts using an artificial intelligence output detector, plagiarism detector, and blinded human reviewers. Disponível em: https://www.biorxiv.org/content/10.1101/2022.12.23.521610v1
[5] Disponível em: https://www.nature.com/articles/d41586-023-00056-7
[6] Apesar de gerar textos críveis, o recurso foi falho, vejam só, na formatação dos resumos prevista nas normas dos periódicos utilizados como fonte dos artigos dos resumos.
[7] Neste artigo , o pesquisador SiobhanO’Connor utilizou o algoritmo de IA discutir as potencialidades de seu uso no ensino de enfermagem. Infelizmente, o artigo está em acesso fechado.

. . . . .

Shares

Mais do ccult.org

Sci-Hub, acesso à informação e uma revolução na ciência

Um endereço na web causou furor no meio acadêmico em 2016 ao liberar acesso a milhares de artigos científicos sem …

O que são os protocolos de pesquisa médica?

“O mundo como o conhecemos não existe mais”. Essa frase do biólogo e pesquisador Atila Iamarino (se você ainda é …

O mau sinal do inglês como o idioma dominante na ciência latino-americana

Há algumas semanas, o Clarivate Institute for Scientific Information  — ISI, na siga em inglês — publicou o Global Research Report América Latina: América do Sul e Central, México e  Caribe,  um extenso …

Colorindo a ciência com Marina Amaral

Há um gracejo difundido contra os físicos que afirma que nós falhamos em sua única missão: construir uma máquina do …

O universo ilustrado por Pablo Carlos Budassi

O universo fascina a humanidade e motivou a busca pelas mais profundas respostas sobre a nossa existência. Discutir coisas como …

Cesta Científica #17: confiança na ciência, disparidade de gênero, fake news e ensino de ciências e muito mais

Esta é a versão para navegador da Cesta Científica, a newsletter de conteúdos sobre ciência e educação com curadoria do ccult.org. Assine …