Relatório de Experiência MIT: A dependência excessiva de Bots de chat de IA pode Gota a capacidade de pensamento.

Autor: MIT (Massachusetts Institute of Technology) excerto

Compilado por: Felix, PANews

Com a ampla adoção de produtos de grandes modelos de linguagem (LLM), como o ChatGPT da OpenAI, empresas e pessoas de todo o mundo estão utilizando LLM quase todos os dias. Assim como outras ferramentas, os LLM têm suas próprias vantagens e limitações.

Recentemente, o MIT publicou um relatório de pesquisa de 206 páginas que explora o custo cognitivo do uso de LLM (como o ChatGPT) em contextos educacionais de escrita, revelando o impacto do uso de LLM no cérebro e nas habilidades cognitivas. A pesquisa indica que a dependência excessiva de chatbots de IA, como o ChatGPT da OpenAI, pode diminuir a capacidade cognitiva.

A equipe de pesquisa dividiu os participantes em três grupos: grupo LLM, grupo de motor de busca e grupo que usa apenas o cérebro. Esses participantes, ao longo de 4 meses, usaram ferramentas designadas (o grupo que usa apenas o cérebro não utilizou ferramentas) para escrever artigos dentro de um tempo limitado, com temas diferentes em cada experimento. A equipe organizou 3 rodadas de experimentos com a mesma divisão para cada participante. Na 4ª rodada do experimento, a equipe pediu aos participantes do grupo LLM que não usassem nenhuma ferramenta (denominado grupo LLM para cérebro), enquanto os participantes do grupo que usa apenas o cérebro usaram LLM (grupo cérebro para LLM). No total, foram recrutados 54 participantes para as 3 primeiras rodadas de experimento, dos quais 18 completaram a 4ª rodada.

A equipe de pesquisa usou eletroencefalografia (EEG) para registrar a atividade elétrica cerebral dos participantes, a fim de avaliar seu envolvimento cognitivo e carga cognitiva, além de entender melhor a ativação neural durante a tarefa de redação. A equipe realizou uma análise de processamento de linguagem natural (NLP) e entrevistou cada participante após o término de cada experimento. A equipe contou com a ajuda de professores humanos e um avaliador de IA (um agente de IA construído especificamente) para a pontuação.

Na análise de processamento de linguagem natural (NLP), os participantes que utilizam apenas o cérebro demonstram uma grande variabilidade na forma como escrevem artigos sobre a maioria dos temas. Em contraste, o grupo LLM tende a produzir artigos mais homogêneos em cada tema, com uma variação estatisticamente menor em comparação com outros grupos. O grupo de motores de busca pode ser influenciado, pelo menos em certa medida, pela promoção e otimização de conteúdo dos motores de busca.

O grupo LLM utilizou o maior número de entidades nomeadas específicas (NER), como pessoas, nomes, locais, anos e definições; enquanto o grupo de motores de busca utilizou pelo menos metade do número de NER do grupo LLM; o grupo que usou apenas o cérebro utilizou 60% menos NER do que o grupo LLM.

Os participantes do grupo LLM e do motor de busca estão sob pressão adicional devido ao tempo limitado (20 minutos), portanto, tendem a concentrar-se nos resultados produzidos pelas ferramentas que utilizam. A maioria deles foca em reutilizar o conteúdo gerado pelas ferramentas, permanecendo ocupada a copiar e colar, em vez de integrar as suas próprias ideias originais e editar esses conteúdos a partir da sua própria perspetiva e experiência.

No que diz respeito ao modelo de conectividade neural, os investigadores utilizaram o método da função de transferência direcional dinâmica (dDTF) para medir a carga cognitiva dos participantes. O dDTF pode revelar variações sistemáticas e específicas da frequência na coerência da rede, tendo uma importância significativa na função executiva, no processamento semântico e na regulação da atenção.

A análise do eletroencefalograma indica que existem diferenças significativas nos padrões de conectividade neural entre o grupo LLM, o grupo de motores de busca e o grupo que depende apenas do cérebro, refletindo diferentes estratégias cognitivas. O nível de conectividade cerebral diminui sistematicamente com o aumento do suporte externo: o grupo que depende apenas do cérebro apresenta a rede mais forte e mais ampla, o grupo de motores de busca exibe um nível médio de participação, enquanto o grupo assistido por LLM tem a acoplamento geral mais fraco.

Na quarta rodada de experimentos, os participantes que passaram de LLM para apenas cérebro mostraram conexões neurais mais fracas, com baixa participação nas redes α e β; enquanto os participantes que passaram de apenas cérebro para LLM mostraram uma maior capacidade de recuperação de memória, reativando amplamente os nós occipitais, parietais e frontais.

Na entrevista, o grupo LLM tem uma sensação de pertença baixa em relação aos seus artigos. O grupo de motores de busca tem uma forte sensação de pertença, mas inferior ao grupo que depende apenas do cérebro. O grupo LLM também fica atrás na capacidade de citar artigos que escreveram há poucos minutos, com mais de 83% dos usuários do ChatGPT incapazes de citar um artigo escrito há poucos minutos.

Este estudo ainda não revisado por pares sugere que, ao longo de um período de 4 meses de pesquisa, os participantes do grupo LLM apresentaram desempenho inferior em termos neurais, linguísticos e de pontuação em comparação com o grupo de controle que usou apenas o cérebro. À medida que a influência educacional do LLM sobre o público começa a se manifestar, o uso de LLM de inteligência artificial pode, na verdade, prejudicar a melhoria das habilidades de aprendizagem, especialmente para usuários mais jovens.

Os pesquisadores afirmam que, antes que os LLM sejam reconhecidos como benéficos para a humanidade, é necessário realizar “estudos longitudinais” para entender os efeitos a longo prazo dos chatbots de inteligência artificial no cérebro humano.

Ao ser questionado sobre a opinião do ChatGPT em relação a este estudo, a sua resposta foi: “Este estudo não diz que o ChatGPT é intrinsecamente prejudicial - pelo contrário, alerta as pessoas para não dependerem excessivamente dele sem reflexão ou esforço.”

Leitura relacionada: a16z: 11 direções-chave para a fusão de criptomoedas e IA, desde agentes de IA, DePIN até micropagamentos.