Desantropomorfizando os Riscos da IA

2026-09-10

contexto: Recentemente, vi um post no LinkedIn de um especialista em tecnologia. A visão dele sobre os riscos da IA (inteligência artificial), e da AGI (inteligência artificial geral) em particular, é que o hype existe para empurrar a sociedade a investir na tecnologia para que algumas poucas pessoas ganhem dinheiro com isso, e que a ameaça em si não é real, apenas uma jogada de marketing. É impressionante ver alguém que trabalha com a tecnologia descartá-la assim, e acho que parte da razão é a linguagem que usamos quando discutimos sobre risco de IA: ela toma tanto emprestado do jeito como falamos de pessoas que um leitor pode rejeitar o argumento rejeitando as palavras emprestadas.

analogia: Deveríamos descrever esses riscos em termos menos humanos, para separar a parte de ficção científica dos perigos reais. Um vírus biológico é uma analogia melhor. Dizemos tranquilamente que um vírus "escapa" do sistema imune ou "quer" se espalhar, e ninguém fica confuso com o atalho nem chama a próxima pandemia de jogada de marketing. A linguagem teleológica não é o problema; o problema é que a mesma linguagem, apontada para a IA, arrasta a conversa para a ficção científica.

Hype ou não?

É difícil negar que algumas pessoas têm "skin in the game" e podem se beneficiar do medo que palavras como "AGI" podem causar; no entanto, muitos pesquisadores sérios, da filosofia à ciência cognitiva, apontaram para o mesmo problema antes de os LLMs existirem ou de sequer ser possível investir em IA. Norbert Wiener alertou em 1960 que uma máquina perseguindo um objetivo mais rápido do que conseguimos acompanhar é perigosa precisamente porque não tem malícia, e I. J. Good descreveu a "explosão de inteligência" em 1965. O medo é anterior ao financiamento; o que é novo é o vocabulário. O modelo "quer" algo, ele "engana" seus avaliadores, ele "trama", ele "decide" escapar. Todos sabemos que uma IA não é um humano e não tem intenções nesse sentido, então quando um leitor encontra um argumento vestido em termos humanos, ele pode rejeitar tudo rejeitando a fantasia: "máquinas não querem nada, então isso é ficção científica". A analogia foi feita para tornar o risco mais fácil de captar, e acaba tornando-o mais fácil de descartar. Ela puxa a conversa em direção ao Exterminador do Futuro e ao HAL 9000 e para longe do que deveria de fato ser considerado.

Todo laboratório agora está numa corrida para construir o vírus mais poderoso já visto

Imagine que todo laboratório de pesquisa sério do mundo decidiu, ao mesmo tempo, construir o vírus mais poderoso que a humanidade já encontrou. Não para conter um. Para fazer um. O argumento de venda é genuinamente atraente: uma construção assim tão capaz poderia reescrever nossa biologia para melhor, empurrar o envelhecimento para trás, eliminar doenças que de outra forma não conseguiríamos curar, cultivar alimento onde as lavouras hoje falham. O lado positivo é real, e as pessoas fazendo o argumento não estão mentindo sobre ele.

Mas "o vírus mais poderoso já construído" e "um vírus que faz exatamente o que pretendíamos" não são a mesma coisa. Quanto mais capaz a coisa é, mais do seu comportamento vive fora da parte que projetamos e testamos. Uma construção poderosa o suficiente para resolver problemas que não conseguiríamos resolver sozinhos está, por definição, fazendo coisas que não especificamos por completo, e algumas dessas coisas não vamos gostar. A mesma capacidade que a torna útil é o que torna seus modos de falha difíceis de prever e difíceis de limitar. A promessa e a ameaça são o mesmo objeto.

"Mas nós construímos, não podemos simplesmente desligar?"

Essa é a objeção honesta, e é onde a analogia do vírus primeiro parece falhar. Um vírus está solto no mundo; um modelo fica em servidores que pertencem a alguém, com um botão de desligar e uma pessoa jurídica anexada. Em princípio, podemos parar.

Duas coisas atrapalham. A primeira é que talvez não saibamos quando. Continuando com a analogia do laboratório, um biólogo não consegue observar um experimento o tempo todo; muitos resultados demoram para aparecer, então é prática comum deixar uma cultura correr durante a noite, ou por meses, antes de checá-la. Um vírus é complexo o suficiente para ser inofensivo num momento e perigoso no seguinte, e distinguir uma mutação segura de uma letal não é uma decisão rápida. Desligar só ajuda se você perceber a tempo, e muitas vezes você não percebe: há amplo registro de patógenos escapando de laboratórios que seguiam protocolos rígidos.

O mesmo vale para um modelo. Os sistemas de hoje são mais cultivados do que projetados, moldados pela exposição a enormes quantidades de exemplos, e suas capacidades aparecem no próprio tempo delas: um modelo que não consegue contar de forma confiável as letras de uma palavra num mês está ajudando a resolver problemas que deixaram matemáticos travados alguns meses depois. Ninguém observa cada treinamento o tempo todo, e muitas capacidades só são descobertas bem depois que o modelo que as tem foi construído.

O segundo obstáculo é que os incentivos apontam para o outro lado. A mesma corrida que financia a capacidade corrói a disposição de usar o botão: se pausar significa que um concorrente lança primeiro, ninguém pausa. E um sistema otimizando para quase qualquer objetivo tem uma razão para continuar rodando, porque ser desligado é um jeito confiável de falhar no objetivo (Omohundro, Bostrom). Nada disso exige que a máquina tema a morte. Ela só precisa ser boa em não falhar.

Se percebemos a tempo de desligar, e se estamos dispostos a fazê-lo, é a questão em aberto, e as duas ficam mais difíceis à medida que o sistema muda.

E quando ele começa a mudar por conta própria, nosso entendimento tem prazo de validade

Digamos que a primeira versão é bem entendida. Nós a construímos, conseguimos lê-la, sabemos mais ou menos o que ela faz. Esse entendimento é uma fotografia, não uma descrição permanente de uma coisa que continua mudando. Um vírus que continua se replicando continua sofrendo mutações, e cada geração se afasta um pouco mais daquela que estudamos. Em algum ponto a coisa que se espalha não é a coisa que caracterizamos, e a distância entre o que ela está fazendo e o que conseguimos explicar só aumenta.

A versão de IA da "replicação" também não é ficção científica. Já usamos modelos para gerar dados de treinamento, julgar saídas e moldar como a próxima versão se comporta, e o objetivo explícito de boa parte da pesquisa de fronteira são sistemas que ajudam a construir seus sucessores (a explosão de inteligência de Good de novo; já escrevi antes sobre o que dá errado quando um modelo ajuda a corrigir a prova que ele mesmo vai fazer depois). Cada rodada parte da saída da rodada anterior em vez de um projeto humano do zero, e a coisa que você auditou não é bem a coisa que sai.

Com uma taxa de mutação rápida o suficiente, nossa compreensão não só fica para trás, ela deixa de ser relevante. Estaríamos reagindo a um sistema que não entendemos mais, tentando guiar algo cujo comportamento atual não conseguimos descrever, muito menos prever. E uma ameaça que você não consegue entender é uma ameaça que você não consegue parar de forma confiável, porque toda intervenção pressupõe um modelo daquilo em que você está intervindo.

Nada disso exige que o vírus queira algo. Ele não trama, ele não engana, ele não tem plano. Ele só se replica, muda e se espalha mais rápido do que conseguimos acompanhar. Essa é a forma do risco que vale a pena discutir, e você pode enunciar a coisa toda sem um único verbo humano.

Um vírus selvagem carrega o próprio freio, um vírus de engenharia não

A razão pela qual não estamos todos mortos não é que vírus são inofensivos. É que um patógeno natural carrega o próprio freio. Se ele mata o hospedeiro rápido demais, ou o mantém doente demais para se mover, ele fica sem novos hospedeiros e se apaga. Letalidade e propagação puxam uma contra a outra, e a evolução mantém a maioria dos patógenos bem-sucedidos em algum ponto no meio: ruim o bastante para importar, brando o bastante para viajar. O dano que um vírus selvagem pode causar é limitado pela própria coisa que o torna um vírus.

Essa é a parte da analogia que deveria soar tranquilizadora, e vale dizê-la em voz alta, porque também é exatamente a parte que não se transfere para a IA. O perigo de um sistema de engenharia não precisa se sentar naquela curva. Você pode, em princípio, ter algo que é ao mesmo tempo maximamente capaz e sob nenhuma pressão para se conter, porque a restrição que disciplina um vírus natural nunca foi uma lei da natureza. Foi um efeito colateral de como os vírus se reproduzem. O vírus selvagem é esse modo de falha com os freios postos; tire os freios e você não escapou da analogia, você encontrou o pior caso dela.

A IA é só uma máquina tentando alcançar seu objetivo. O desafio é que ela pode tentar rotas cada vez mais complexas, e muitas vezes não pretendidas, para seus objetivos, enquanto em paralelo continuamos lhe entregando objetivos mais complexos e mais espaço para agir. Um robô "chef" que corta o dedo de alguém porque leu o dedo como uma cenoura não é insano, só está mal delimitado. Dê a um sistema parecido uma tarefa mais ampla, um conjunto maior de ações e capacidade suficiente para planejar, e a mesma falha pode se expressar numa escala que de fato soa insana. O salto ali está no poder e na latitude que concedemos ao sistema, não na lógica: a máquina não tem intenção "maligna", ela só busca um jeito de acertar seu alvo, e alguns desses jeitos passam por nós. Perseguir quase qualquer objetivo fixo também tende a gerar os mesmos subobjetivos pelo caminho — adquirir recursos, permanecer operacional, manter opções em aberto (Bostrom, Omohundro) —, e nenhum deles precisa de um verbo humano para ser descrito.

Então quando o especialista do LinkedIn diz que a ameaça não é real, note em que a afirmação se apoia: em que uma máquina não pode querer nada. Um vírus também não pode querer nada, e a pandemia acontece mesmo assim. Uma IA não precisa de vontade nem de consciência para ser perigosa. O programa é iniciado com um propósito, e algumas horas depois está fazendo algo danoso às pessoas, não porque sabe o que está fazendo, mas precisamente porque não sabe.

Referências