existe algo muito simples em que os chatbots são muito ruins

Chatbots como ChatGPT e Gemini falham frequentemente em fornecer dados corretos e confiáveis, como aponta uma nova pesquisa

Tudo sobre Inteligência Artificial

Um estudo recente destacou as limitações de chatbots de IA, como ChatGPT, Gemini e Grok, quando usados para busca de informações factuais. A pesquisa revelou que esses sistemas falham frequentemente em fornecer respostas precisas, errando em mais de 60% das vezes.

Mesmo quando conseguem uma resposta, muitas vezes estão excessivamente confiantes nas informações incorretas.

O estudo, conduzido pelo Tow Center for Digital Journalism, e publicado na Columbia Journalism Review, testou oito chatbots em tarefas simples, como encontrar e fornecer um link para um artigo específico.

Os chatbots testados foram o ChatGPT, Perplexity, Perplexity Pro, DeepSeek, Copilot, Grok-2, Grok-3
e Gemini.

Leia mais:

Embora a tarefa fosse realizável no Google, os chatbots cometeram erros significativos. O Perplexity teve o melhor desempenho, acertando 63% das vezes, enquanto o Grok-3 obteve apenas 6% de acerto.

Os principais problemas observados incluem: os chatbots fornecendo respostas erradas com confiança, ignorando protocolos de exclusão de robôs, fabricando links e citando versões erradas de artigos. Além disso, os chatbots premium (como o Copilot, da Microsoft) eram mais confiantes, mas igualmente imprecisos.

Apesar disso, a parceria da Apple com o ChatGPT para consultas não respondidas pela Siri é vista como algo positivo.
Embora o desempenho do ChatGPT não tenha sido perfeito na atividade, foi relativamente bem entre os testados.
O estudo confirma que chatbots podem ser úteis para gerar ideias, mas não devem ser confiáveis para respostas factuais.

Foto estilo POV de pessoa segurando lupa sobre tela de notebook com ChatGPT aberto — Parceria da Apple com o ChatGPT é vista como uma escolha inteligente (Imagem: Rokas Tenys/Shutterstock)

Colaboração para o Olhar Digital

Leandro Criscuolo é jornalista formado pela Faculdade Cásper Líbero. Já atuou como copywriter, analista de marketing digital e gestor de redes sociais. Atualmente, escreve para o Olhar Digital.

Bruno Capozzi é jornalista formado pela Faculdade Cásper Líbero e mestre em Ciências Sociais pela PUC-SP, tendo como foco a pesquisa de redes sociais e tecnologia.