A IA nos deve uma explicação

 Por Eduardo Felipe Matias* 

 A IA nos deve uma explicação Getty Images

Sistemas algorítmicos com funcionamento ainda mal compreendido podem ofuscar os benefícios da tecnologia

18/05/2023 

A evolução assustadoramente rápida da inteligência artificial (IA) nos últimos meses levou parte da comunidade empresarial e científica a iniciar um movimento para tentar impedir esse avanço desenfreado. Parte do receio vem do fato de que dependemos cada vez mais de decisões tomadas por sistemas cujo funcionamento não conseguimos entender muito bem.

Para discutir essa questão, me reuni em abril com o professor Stuart Russell, que conheci em meu período como visiting scholar no Vale do Silício. Russell, cientista de computação, é coautor do livro didático sobre IA mais difundido no mundo, adotado por mais de 1,5 mil universidades em 135 países. É também o segundo nome na lista de signatários da carta aberta publicada em março pelo Future of Life Institute – que inclui personalidades como Elon Musk e Yuval Harari –, que pedia uma pausa de seis meses no treinamento de sistemas de IA mais poderosos do que o GPT-4 – versão mais atual do grande modelo de linguagem desenvolvido pela OpenAI, criadora do ChatGPT.

Já para começo de conversa, Russell deixa claro que mesmo ele, com todo o conhecimento que possui na matéria, considera praticamente impossível compreender como esses sistemas chegam a certas conclusões. A dificuldade se relaciona à evolução da IA, cujos modelos hoje mais bem-sucedidos se baseiam no “deep learning”, processo de aprendizagem de máquina que se alimenta de dados e usa múltiplas camadas de redes neurais artificiais para obter resultados. Diferentemente dos modelos tradicionais de computação, que dependem de programação – ou seja, de regras predeterminadas –, esses algoritmos definem suas escolhas por conta própria e por razões complicadas de se determinar. Embora seja possível observar os dados que entram nos sistemas (inputs) e os que deles saem (outputs), seu grau de complexidade torna suas operações internas obscuras – o que os leva a serem comparados a “caixas-pretas”.

Redes neurais podem ser utilizadas, por exemplo, no reconhecimento de imagens, o que é feito detectando padrões de pixels. Uma rede pode ser treinada para reconhecer gatos, com sucesso. Entretanto, não se sabe exatamente que variáveis se tornam determinantes para isso. Seriam as orelhas, o rabo, os pelos ou o fato de os animais aparecerem junto a um novelo de lã? Se for esta última variável que faz a diferença, uma bicicleta com um novelo de lã ao seu lado poderá ser identificada como gato. Logo, o sistema pode até estar na maior parte das vezes acertando a previsão, mas por um motivo enganado. Encontrou uma correlação, mas não a causa.

Outro problema é que, como os algoritmos são alimentados por bancos de dados que podem reproduzir preconceitos ou vieses encontrados na sociedade, há o risco de que os fatores considerados – a cor da pele de alguém, ou o bairro onde mora – tenham caráter igualmente discriminatório, o que pode prejudicar certos grupos em aplicações que vão de entrevistas de emprego ao policiamento das ruas.

Ao não entendermos como alguns tipos de IA operam, não temos ideia do que deu errado quando eles produzem uma previsão ou decisão equivocada – algo indesejável, especialmente quando estas afetem a vida das pessoas, como ao influenciar indevidamente a recusa de um empréstimo ou, pior, a prisão de um inocente. Sem compreender por que um carro autônomo não reconheceu um pedestre e o atropelou, não conseguiremos evitar que acidentes se repitam.

Por todos esses motivos, é questionável se algumas atividades deveriam ser automatizadas sem maior controle. Para Russell, uma alternativa seria limitar o uso dessas caixas-pretas a aplicações nas quais possam trazer benefícios sem causar maiores danos – como a recomendação de materiais mais eficientes para a produção de baterias. Porém, se o sistema for destinado a aplicações de alto risco, como a medicina, onde uma prescrição equivocada pode matar alguém, sistemas de IA inexplicáveis não deveriam ser utilizados, da mesma forma como não aceitaríamos nos submeter a uma cirurgia séria ou tomar um remédio com fortes contraindicações sem ouvir uma boa justificativa do nosso médico.

Isso inclui os grandes modelos de linguagem que conversam com o público em geral, como o ChatGPT, à medida que são imprevisíveis e já demonstraram poder fornecer orientações sobre como construir uma bomba ou encorajar alguém a cometer suicídio, apesar dos esforços da OpenAI em evitar esses tipos de resposta. As razões pelas quais não podemos explicar o que esses modelos estão fazendo são as mesmas pelas quais não conseguimos controlá-los, comenta Russell. Se fôssemos capazes de entender suas operações internas, poderíamos construir explanações e modificá-los para que não fizessem o que não esperamos ou desejamos.

Ele lembra, ainda, que a tarefa de saber como esses modelos funcionam não cabe a nós, nem aos governos, mas sim a seus desenvolvedores. A pausa proposta na carta aberta do Future of Life Institute deveria ser aproveitada para reorientar o desenvolvimento da IA a fim de tornar esses sistemas mais “precisos, seguros, interpretáveis, transparentes, robustos, alinhados, confiáveis e leais”.

A ideia não seria interromper as pesquisas na área, mas assegurar que não se lançará nenhum produto sem a certeza de que este não será nocivo. A IA pode, inegavelmente, trazer inúmeros benefícios, mas ninguém ganha com a difusão de sistemas cujas decisões são tomadas de forma incompreensível para os seres humanos, especialmente quando estes podem cometer erros ou perpetuar preconceitos. A IA precisa se explicar, para se tornar melhor.

*Eduardo Felipe Matias é autor dos livros "A humanidade e suas fronteiras" e "A humanidade contra as cordas", ganhadores do Prêmio Jabuti, e coordenador do livro "Marco Legal das Startups". Doutor em Direito Internacional pela USP, foi visiting scholar nas universidades de Columbia, em NY, e Berkeley e Stanford, na California, e é sócio da área empresarial de Elias, Matias Advogados

Fonte: https://epocanegocios.globo.com/colunas/na-fronteir/coluna/2023/05/a-ia-nos-deve-uma-explicacao.ghtml