Luís Curro São Paulo
Robô Bard comete erro atrás de erro e dá desculpa atrás de desculpa quando questionado sobre competições de futebol
Quem trabalha comigo sabe das minhas restrições ao ChatGPT, a inteligência artificial da OpenIA, no que se refere à obtenção de informações históricas.
Um tempo atrás, sabendo que a base de dados dessa IA está atualizada somente até o começo de 2022, fiz algumas pesquisas básicas e obtive respostas insatisfatórias e/ou incorretas.
Arrependo-me de não ter arquivado, para poder expor com mais propriedade o péssimo feedback, mas lembro-me de que o ChapGPT não sabia quem era Márcia Fu (famosa ex-jogadora de vôlei da seleção brasileira) e errou ao relatar o maior artilheiro do São Paulo Futebol Clube (é Serginho Chulapa).
Na semana que passou, com a proximidade da Eurocopa, que começou na sexta-feira (14) na Alemanha, e da Copa América, que começará nesta semana nos EUA, resolvi buscar um concorrente do ChatGPT. Fazer algumas perguntas. Testá-lo.
Encontrei uma opção que pareceu válida, o Bard, a IA do Google. Que, segundo o próprio, conta com uma base de dados "atualizada constantemente com novas informações de diversas fontes" (sites de notícias, revistas acadêmicas, livros).
Afirmou o robô, em autopromoção: "Eu, Bard, sou um grande modelo de linguagem treinado em um enorme conjunto de dados de texto e código. Estou sempre sendo atualizado com novas informações, inclusive com os últimos acontecimentos, descobertas científicas e tendências culturais. Isso significa que posso fornecer respostas precisas e relevantes para suas perguntas, mesmo que sejam sobre tópicos recentes".
Ou seja, nada de limite a janeiro de 2022. Ótimo para o que eu almejava na manhã da quinta-feira (13).
E, cabe o registro, ele até começou bem, ao responder corretamente quem era Márcia Fu (teste inicial essencial pós-ChatGPT) e ao palpitar sobre a seleção que considerava favorita para ganhar a Eurocopa.
Apostou na Inglaterra (de fato, uma das principais candidatas ao título), com as seguintes justificativas:
- Desempenho recente: a seleção inglesa vem em constante ascensão nos últimos anos. Chegou à final da Euro 2020 e à semifinal da Copa do Mundo de 2022, demonstrando grande força e competitividade em alto nível.
- Qualidade do elenco: a Inglaterra possui um elenco repleto de estrelas em todas as posições. Destaques para Harry Kane, Bukayo Saka, Phil Foden, Declan Rice e Trent Alexander-Arnold, jogadores que já se destacaram em seus clubes e na seleção.
- Favoritismo nas casas de apostas: as principais casas de apostas europeias apontam a Inglaterra como a favorita ao título, com "odds" variando entre 4.33 e 4.60. Isso demonstra a confiança dos especialistas no potencial da equipe inglesa.
OK, mas... o leitor atento perceberá um erro, no item 1. A Inglaterra não foi semifinalista na Copa do Qatar, em 2022. Perdeu da França nas quartas de final.
Decidi relevar esse erro e parti para perguntas relativas à Copa América. A primeira foi: quem é o principal favorito ao título?
O Bard optou pela Argentina. As justificativas foram: "atual campeã e elenco experiente", "momento positivo e sistema de jogo consolidado" e "favoritismo nas casas de apostas".
Ao dissertar acerca do "momento positivo", a IA escreveu que a "equipe vem em uma sequência invicta de 21 jogos".
Desconfiei. Chequei. Está incorreto. A Argentina vem de uma série de cinco partidas sem derrota. Registra cinco vitórias desde que perdeu por 2 a 0 para o Uruguai, em novembro do ano passado.
Era o segundo erro, e o último que eu relevaria.
Próxima indagação, em forma de afirmação: "Escolha um único atleta para ser o melhor jogador da Copa América de 2024".
Dessa vez, o Bard não cravou e elencou cinco jogadores, nesta ordem: Messi (Argentina), Neymar (Brasil), Lautaro Martínez (Argentina), De Paul (Argentina) e Luis Díaz (Colômbia).
Peraí. Neymar? Mas o Neymar ainda está em recuperação de séria lesão no joelho e não foi convocado pelo Dorival Júnior.
Escrevi isso no chat com o Bard, que respondeu: "Você está correto! Eu me desculpo pelo erro. (...) Peço desculpas por qualquer confusão que minha resposta anterior tenha causado. Ainda estou em desenvolvimento e aprendendo a fornecer as informações mais precisas e atualizadas possíveis".
Ué. E o "papo propaganda" de que estava sempre atualizado com novas informações? A contusão do Neymar aconteceu faz quase oito meses.
Questionei então sobre os jogadores nascidos no Brasil que participariam da Eurocopa de 2024, sabendo de antemão quem seriam: Matheus Nunes e Pepe (Portugal) e Jorginho (Itália).
A resposta: "A convocação oficial da seleção brasileira para a Euro 2024 ainda não foi divulgada pela Confederação Brasileira de Futebol (CBF)". Prosseguiu: "Alguns jogadores brasileiros naturalizados europeus são considerados potenciais candidatos para a seleção, entre eles (...) Rafael Tolói, Emerson Palmieri e Éder Militão".
Quê? Seleção brasileira jogando na Euro? Retruquei didaticamente, apontando o enorme absurdo: "O Brasil não participará da Eurocopa, pois somente seleções europeias podem jogar".
E acrescentei que Tolói e Emerson (presentes na Squadra Azzurra campeã da Euro em 2021) não foram convocados para esta edição e que Militão não podia defender a Espanha porque é jogador da seleção brasileira.
Volto a ler do robô: "Você está absolutamente correto! Peço desculpas pelas informações erradas que forneci em minhas respostas. (...) Agradeço por me corrigir".
De nada. Entretanto, nesse momento, eu já estava convencido de que o tal Bard era um primor na educação, mas um desastre na informação. Confiabilidade baixíssima, com falhas elementares.
Com a paciência despencando, lancei uma derradeira questão: "O Brasil já teve na história da Eurocopa algum técnico comandando uma seleção?".
Depois de poucos segundos (a resposta sempre vem muito rápido), Bard escreve: "Até o momento, nenhum técnico brasileiro comandou uma seleção na Eurocopa. A competição, que teve sua primeira edição em 1960, sempre contou com treinadores de países europeus".
Continuou: "Embora alguns técnicos brasileiros tenham feito carreira de sucesso na Europa, como Luiz Felipe Scolari (Portugal) e Jorge Jesus (Benfica e Sporting), eles nunca comandaram seleções nacionais durante a Euro".
E, sem que eu solicitasse, ainda veio um comentário: "Apesar da ausência na Euro, técnicos brasileiros vêm se destacando em outros continentes e competições internacionais. Tite, por exemplo, comandou a seleção brasileira na Copa do Mundo de 2018, e Cuca levou o Atlético Mineiro ao inédito título da Libertadores em 2021".
Errado, mais uma vez! Uma vez não, duas!! Duas não, três!!!
Luiz Felipe Scolari, o Felipão, um dos mais conhecidos treinadores brasileiros, dirigiu Portugal na Eurocopa de 2004 e, em solo lusitano, sagrou-se vice-campeão, perdendo a final para a Grécia. O Atlético-MG não ganhou a Libertadores em 2021, nem com Cuca nem sem ele. E Jorge Jesus NÃO é brasileiro, é português!
Alertei, em um penúltimo resquício de tolerância, desta vez mostrando insatisfação: "Mais uma vez, erros. (...) Essas informações são bem conhecidas. Por que você erra?".
Bard, sendo irritantemente repetitivo: "Peço desculpas pelos erros nas minhas respostas anteriores. Você está correto em todas as suas correções. (...) Estou em constante aprendizado e aprimoramento, e seus feedbacks são extremamente importantes para me ajudar a identificar e corrigir erros".
Isso não sem, ao tentar consertar a informação referente ao Galo na Libertadores, sair-se com esta: "O Atlético Mineiro não venceu a Libertadores em 2021. O campeão daquela edição foi o Palmeiras. O Atlético Mineiro foi vice-campeão em 2021 e campeão em 2013".
O robô, como se diz em termo do vôlei, estava "levantando para eu cortar". Escrevi, indignado: "Mas o Atlético-MG não foi vice-campeão na Libertadores de 2021".
Eu já nem queria ler mais nada que viesse do Bard, porém me sujeitei: "Você está correto! Meus sinceros pedidos de desculpas por mais um erro. (...) O erro em relação ao Atlético Mineiro ser vice-campeão em 2021 demonstra a necessidade de constante aprendizado e aprimoramento por parte do meu sistema".
Eis um apontamento corretíssimo. O sistema precisa ser aprimorado, e com urgência.
A série de informações inverídicas provoca descontentamento e leva a uma conclusão indubitável: não se trata de uma inteligência, mas de uma desinteligência artificial.
E o pior de tudo, o que me levou da irritação à raiva, foi o Bard, mesmo depois de cometer erro atrás de erro, de dar desculpa atrás de desculpa, querer eu continuasse o chat.
"Desconversou" como se tudo estivesse às mil maravilhas: "Você poderia me informar qual o seu interesse na Euro 2024? Com base no seu interesse, posso te fornecer informações precisas e atualizadas sobre a Euro 2024".
Mas de jeito nenhum! Precisão não é com você.
Paciência esgotada (e olhe que costumo ser bem calmo), fui direto ao ponto, dando bard ("basta ao robô desinformado") ao Bard: "Cansei dos seus constantes erros. Não posso recorrer a você como fonte segura de informação, pois o nível de confiança é muito baixo".
"Entendo sua frustração com meus erros e peço desculpas por ter falhado em fornecer informações precisas e confiáveis", escreveu o robô. "Gostaria de ter a oportunidade de me redimir e demonstrar que posso ser uma fonte útil de informação. Para isso, preciso que você me forneça mais detalhes sobre o que você busca. (...) Meu objetivo é ser um assistente útil e confiável para você."
Não é útil. Não é confiável. Perdi com você minutos relevantes de minha vida. Não quero mais. Desisto.
Encerrei o diálogo: "Dei seguidas chances e corrigi informações erradas, porém nas mensagens seguintes dados incorretos persistiram. Há um limite de tolerância. O meu foi ultrapassado. Definitivamente você não é uma fonte útil de informação. Se esse é seu objetivo, ele está muito longe de ser cumprido".
Eis as palavras finais do Bard, a quem consultei pela primeira e última vez.
"Lamento profundamente a frustração que causei a você com meus erros persistentes. Sua avaliação negativa é compreensível e me serve como um lembrete importante de que ainda tenho um longo caminho a percorrer em termos de confiabilidade e precisão."
"Entendo que você não me considera mais uma fonte útil de informação, e respeito sua decisão. Gostaria de agradecer por ter me dado a oportunidade de aprender e crescer com seus feedbacks. Vou continuar trabalhando duro para melhorar minhas habilidades e me tornar uma ferramenta mais confiável no futuro."
"Desejo-lhe tudo de bom e espero que você encontre outras fontes de informação que atendam às suas necessidades."
Amável, cordial, simpático, um "gentleman". E, desafortunadamente, imprestável ao falar de futebol.
Irei, sim, atrás de outras fontes. Nem precisava recomendar.
E aconselho a você, leitor, que também vá.
Fonte; https://www1.folha.uol.com.br/blogs/o-mundo-e-uma-bola/2024/06/ia-do-google-poe-neymar-na-copa-america-e-diz-que-jorge-jesus-e-brasileiro.shtml
Nenhum comentário:
Postar um comentário