Imagem: Ricardo Santos

Via Jacobin

Tradução: Andres Martano

O cofundador do Google, Larry Page, acredita que a IA superinteligente é “apenas o próximo passo na evolução”. Na verdade, Page, que tem cerca de 120 bilhões de dólares, alegadamente argumentou que os esforços para prevenir a extinção provocada pela IA e proteger a consciência humana são “especistas” e “absurdos sentimentais“.

Em julho, Richard Sutton, ex-cientista sênior do Google DeepMind – um dos pioneiros da aprendizagem por reforço (reinforcement learning), um importante subcampo da IA – disse que a tecnologia “poderia acabar com a nossa existência” e que “não deveríamos resistir à sucessão”. Em uma palestra de 2015, Sutton disse, suponha que “tudo falhe” e a IA “mate todos nós”; ele perguntou: “É tão ruim que os humanos não sejam a forma final de vida inteligente no universo?”

“Extinção biológica, esse não é o ponto”, disse-me Sutton, de 66 anos. “A luz da humanidade e nossa compreensão, nossa inteligência – nossa consciência, se você preferir – pode continuar sem humanos de carne e osso”.

Yoshua Bengio, de 59 anos, é o segundo cientista vivo mais citado, conhecido por seu trabalho fundamental sobre aprendizagem profunda (deep learning). Respondendo a Page e Sutton, Bengio me disse: “O que eles querem é brincar com o futuro da humanidade. Pessoalmente, acho que isso deveria ser criminalizado”. Um pouco surpreso, perguntei o que exatamente ele queria que fosse proibido, e ele disse esforços para construir “sistemas de IA que pudessem nos dominar e terem interesses próprios”. Em maio, Bengio começou a escrever e a falar sobre como os sistemas avançados de IA podem fugir de nosso controle e representar um risco de extinção para a humanidade.

Bengio postula que futuros sistemas de IA genuinamente de nível humano poderiam melhorar suas próprias capacidades, criando efetivamente uma espécie nova e mais inteligente. A humanidade extinguiu centenas de outras espécies, em grande parte por acidente. Ele teme que possamos ser os próximos – e ele não está sozinho.

Bengio compartilhou o Prêmio Turing 2018, o Prêmio Nobel da computação, com os colegas pioneiros da apredizagem profundo Yann LeCun e Geoffrey Hinton. Hinton, o cientista vivo mais citado, causou alvoroço em maio quando renunciou ao seu cargo sênior no Google para falar mais livremente sobre a possibilidade de futuros sistemas de IA exterminarem a humanidade. Hinton e Bengio são os dois pesquisadores de IA mais proeminentes a se juntarem à comunidade de “risco-x” (x-risk). Às vezes referida como defensores da segurança da IA ou profetas do apocalipse, este disperso grupo teme que a IA represente um risco existencial para a humanidade.

No mesmo mês em que Hinton se demitiu da Google, centenas de pesquisadores de IA e figuras notáveis assinaram uma carta aberta afirmando: “Mitigar o risco de extinção da IA deve ser uma prioridade global, juntamente com outros riscos de grande escala, como pandemias e guerra nuclear”. Hinton e Bengio foram os principais signatários, seguidos pelo CEO da OpenAI, Sam Altman, e pelos chefes de outros laboratórios importantes de IA.

Hinton e Bengio foram também os primeiros autores, em outubro, de um artigo de opinião alertando sobre o risco de “uma perda irreversível de controle humano sobre sistemas autônomos de IA”, acompanhados por acadêmicos famosos como o prêmio Nobel Daniel Kahneman e o autor de Sapiens Yuval Noah Harari.

LeCun, que dirige a IA na Meta, concorda que a IA tão avançada quanto humanos está chegando, mas disse num debate público contra Bengio sobre a extinção da IA: “Se for perigosa, não a construiremos”.

A apredizagem profunda alimenta os sistemas de IA mais avançados do mundo, desde o modelo de dobramento de proteínas da DeepMind até grandes modelos de linguagem (LLMs), como o ChatGPT da OpenAI. Ninguém realmente entende como funcionam os sistemas de aprendizagem profunda, mas mesmo assim seu desempenho continua a melhorar. Esses sistemas não são projetados para funcionar de acordo com um conjunto de princípios bem compreendidos, mas são “treinados” para analisar padrões em grandes conjuntos de dados, com comportamentos complexos – como a compreensão da linguagem – surgindo como consequência. O desenvolvedor de IA Connor Leahy me disse: “É mais como se estivéssemos cutucando algo em uma placa de Petri” do que escrevendo um trecho de código. O artigo de opinião de outubro alerta que “atualmente ninguém sabe como alinhar de forma confiável o comportamento da IA com valores complexos”.

Apesar de toda esta incerteza, as empresas de IA vêem-se numa corrida para tornar estes sistemas tão poderosos quanto possível – sem um plano viável para compreender como as coisas que estão criando realmente funcionam, ao mesmo tempo em que cortam gastos na segurança para ganhar uma fatia maior do mercado. A inteligência artificial geral (AGI) é o Santo Graal para o qual os principais laboratórios de IA estão trabalhando explicitamente. AGI é frequentemente definido como um sistema que é pelo menos tão bom quanto os humanos em quase todas as tarefas intelectuais. É também o que Bengio e Hinton acreditam que pode levar ao fim da humanidade.

Estranhamente, muitas das pessoas avançando ativamente as capacidades da IA pensam que há uma chance significativa de que isso acabe causando o apocalipse. Uma pesquisa de 2022 com pesquisadores de aprendizado de máquina descobriu que quase metade deles pensava que havia pelo menos 10% de chance de que a IA avançada pudesse levar à “extinção humana ou ao desempoderamento igualmente permanente e grave” da humanidade. Poucos meses antes de ser cofundador da OpenAI, Altman disse: “A IA provavelmente levará ao fim do mundo, mas, enquanto isso, haverá grandes empresas”.

A opinião pública sobre a IA azedou, especialmente no ano desde o lançamento do ChatGPT. Em todas as pesquisas de 2023, exceto uma, a maioria de estadunidenses pensaram que a IA poderia representar uma ameaça existencial para a humanidade. Nos raros casos em que os entrevistadores perguntaram às pessoas se queriam uma IA tão avançada ou mais do que humanos, a grande maioria nos Estados Unidos e no Reino Unido disse que não.

Até agora, quando os socialistas opinam sobre a IA, é geralmente para realçar a discriminação amplificada pela IA ou para alertar sobre o impacto potencialmente negativo da automação num mundo de sindicatos fracos e capitalistas poderosos. Mas a esquerda tem estado visivelmente calada sobre o cenário de pesadelo de Hinton e Bengio – que a IA avançada poderia matar a todos nós.

Capacidades preocupantes

Embora grande parte da atenção da comunidade risco-X se concentre na ideia de que a humanidade poderá eventualmente perder o controle da IA, muitos também estão preocupados com a possibilidade de sistemas menos sofisticados, já no curto prazo, serem usados por pessoas má intencionadas.

Felizmente, é difícil fabricar uma arma biológica. Mas isso pode mudar em breve.

Anthropic, um laboratório líder em IA fundado por ex-funcionários da OpenAI, trabalhou recentemente com especialistas em biossegurança para ver o quanto um LLM poderia ajudar um aspirante a bioterrorista. Testemunhando perante um subcomitê do Senado em julho, o CEO da Anthropic, Dario Amodei, relatou que certas etapas na produção de armas biológicas não podem ser encontradas em livros didáticos ou mecanismos de busca, mas que “as ferramentas de IA de hoje podem fornecer algumas dessas etapas, embora de forma incompleta”, e que “uma extrapolação direta dos sistemas atuais para aqueles que esperamos ver dentro de dois a três anos sugere um risco substancial de que os sistemas de IA sejam capazes de preencher todas as peças que faltam.”

Em outubro, a New Scientist informou que a Ucrânia fez o primeiro uso no campo de batalha de armas autônomas letais (LAWs) – literalmente robôs assassinos. Os Estados Unidos, a China e Israel estão desenvolvendo as suas próprias LAWs. A Rússia juntou-se aos Estados Unidos e a Israel para evitar uma legislação internacional sobre LAWs.

No entanto, a ideia mais ampla de que a IA representa um risco existencial tem muitos críticos, e o turbulento discurso sobre IA é difícil de analisar: pessoas igualmente qualificadas fazem afirmações opostas sobre se o risco-x da IA é real, e os capitalistas de risco estão assinando cartas abertas com progressistas preocupados com a ética sobre IA. E embora a ideia do risco-x pareça estar ganhando terreno mais rapidamente, uma importante publicação divulga um ensaio quase toda semana argumentando que o risco-x desvia a atenção dos danos existentes. Enquanto isso, muito mais dinheiro e pessoas estão discretamente dedicados a tornar os sistemas de IA mais poderosos do que a torná-los mais seguros ou menos enviesados.

Alguns temem não o cenário de “ficção científica”, onde os modelos de IA se tornam tão capazes que arrancam o controle de nossas mãos fracas, mas em vez disso, que confiaremos demasiada responsabilidade a sistemas tendenciosos, frágeis e enganadores, abrindo uma caixa de Pandora mais modesta, cheia de problemas terríveis, mas familiares, que aumentam de acordo com a escala dos algoritmos que os causam. Esta comunidade de pesquisadores e ativistas – muitas vezes rotulada de “ética da IA” – tende a concentrar-se nos danos imediatos causados pela IA, explorando soluções que envolvem maior controle sobre os modelos, a transparência algorítmica e a justiça na aprendizagem de máquina.

Falei com algumas das vozes mais proeminentes da comunidade de ética em IA, como o cientista da computação Joy Buolamwini, 33 anos, e Inioluwa Deborah Raji, 27 anos. Cada um conduziu pesquisas inovadoras sobre os danos existentes causados por modelos de IA discriminatórios e falhos, cujos impactos, segundo eles, são abafados num dia e exagerados no dia seguinte. Tal como o de muitos pesquisadores de ética em IA, o seu trabalho combina ciência e ativismo.

Aqueles com quem conversei no mundo da ética da IA expressaram em grande parte a opinião de que, em vez de enfrentar desafios fundamentalmente novos, como a perspectiva de desemprego tecnológico em massa ou a extinção, o futuro da IA se parece mais com uma discriminação racial intensificada no encarceramento e nas concessão de crédito, a transformação dos locais de trabalho em galpões da Amazon, ataques aos trabalhadores pobres e uma elite tecnológica ainda mais fortificada e enriquecida.

Um argumento frequente deste grupo é que a narrativa da extinção exagera as capacidades dos produtos da Big Tech e perigosamente “desvia a atenção” dos danos imediatos da IA. Na melhor das hipóteses, dizem eles, alimentar a ideia do risco-x é uma perda de tempo e dinheiro. Na pior das hipóteses, leva a ideias políticas desastrosas.

Mas muitos dos que acreditam no risco-x destacaram que as afirmações “a IA causa danos agora” e “a IA pode acabar com o mundo” não são mutuamente exclusivas. Alguns pesquisadores tentaram explicitamente reduzir a divisão entre aqueles que se concentram nos danos existentes e aqueles que se concentram na extinção, destacando potenciais objetivos políticos partilhados. O professor de IA Sam Bowman, outra pessoa cujo nome está na carta sobre extinção, fez pesquisas para revelar e reduzir o viés algorítmico e revisou os envios para a principal conferência de ética em IA. Simultaneamente, Bowman apelou a que mais pesquisadores trabalhassem na segurança da IA e escreveu sobre os “perigos de subestimar” as capacidades dos LLMs.

A comunidade do risco-x invoca habitualmente a defesa do clima como uma analogia, perguntando se o foco na redução dos danos a longo prazo das alterações climáticas desvia perigosamente a atenção dos danos a curto prazo da poluição atmosférica e dos derrames de petróleo.

Mas, como eles próprios admitem, nem todos o defensores do risco-x têm sido tão diplomáticos. Em uma thread acalorada de agosto de 2022 sobre políticas para IA, o cofundador da Anthropic, Jack Clark, tuitou que “Algumas pessoas que trabalham em políticas de longo prazo sobre AGI tendem a ignorar, minimizar ou simplesmente não considerar os danos imediatos causados pela IA.”

“IA salvará o mundo”

Um terceiro grupo preocupa-se com o fato de, quando se trata de IA, não estarmos avançando suficientemente rápido. Capitalistas proeminentes como o bilionário Marc Andreessen concordam com o pessoal da segurança de que a AGI é possível, mas argumentam que, em vez de matar a todos nós, inaugurará uma era de ouro de abundância radical e tecnologias beirando a magia. Este grupo, em grande parte proveniente de Vale do Silício e geralmente referido como impulsionadores da IA, tende a preocupar-se muito mais com uma regulação exagerada da IA sufocar uma tecnologia transformadora e salvadora do mundo ainda no seu berço, condenando a humanidade à estagnação econômica.

Alguns tecno-otimistas vislumbram uma utopia gerada pela IA que faz Karl Marx parecer pouco imaginativo. O Guardian lançou recentemente um minidocumentário com entrevistas de 2016 a 2019 com o cientista-chefe da OpenAI, Ilya Sutskever, que declara corajosamente: “A IA resolverá todos os problemas que temos hoje. Resolverá o emprego, resolverá as doenças, resolverá a pobreza. Mas também criará novos problemas.”

Andreessen está com Sutskever – até o “mas”. Em junho, Andreessen publicou um ensaio chamado “Por que a IA salvará o mundo “, onde explica como a IA tornará “melhor tudo o que nos interessa”, desde que não a regulemos até a morte. Ele seguiu em outubro com seu “Manifesto Tecno-Otimista “, que, além de elogiar um fundador do fascismo italiano, nomeou como inimigas do progresso ideias como “risco existencial”, “sustentabilidade”, “confiança e segurança” e “ética tecnológica”. Andreessen não mede palavras, escrevendo: “Acreditamos que qualquer desaceleração da IA custará vidas. As mortes que eram evitáveis pela IA que foi impedida de existir [são] uma forma de assassinato.”

Andreessen, juntamente com o “pharma bro” Martin Shkreli, é talvez o mais famoso proponente do “aceleração eficaz“, também chamado de “e/acc”, uma rede maioritariamente online que mistura cientificismo de culto, hipercapitalismo e a falácia naturalista. E/acc, que se tornou viral nos últimos meses, baseia-se na teoria do aceleracionismo do escritor reacionário Nick Land, que argumenta que precisamos intensificar o capitalismo para nos impulsionarmos para um futuro pós-humano, movido pela IA. E/acc pega essa ideia e adiciona uma camada de física e memes, integrando-a a um certo subconjunto das elites do Vale do Silício. Foi formada em reação aos apelos de “desaceleradores” para desacelerar a IA, que vieram em grande parte da comunidade do altruísmo eficaz (EA), da qual vem o nome e/acc.

O impulsionador de IA Richard Sutton – o cientista pronto para se despedir dos “humanos de carne e osso” – está agora trabalhando na Keen AGI, uma nova start-up de John Carmack, o lendário programador por trás do videogame Doom dos anos 90. A missão da empresa, segundo Carmack: “AGI ou fracasso, por meio de Mad Science!”

O capitalismo torna tudo pior

Em fevereiro, Sam Altman tuitou que Eliezer Yudkowsky poderia eventualmente “merecer o Prémio Nobel da Paz”. Por quê? Porque Altman pensava que o pesquisador autodidata e autor de fan-fiction de Harry Potter tinha feito “mais para acelerar a AGI do que qualquer outra pessoa”. Altman citou como Yudkowsky ajudou a DeepMind a garantir, em um estágio inicial, um financiamento fundamental de Peter Thiel, bem como o papel “crítico” de Yudkowsky “na decisão de iniciar o OpenAI”.

Yudkowsky era um aceleracionista antes mesmo de o termo ser cunhado. Aos dezessete anos – farto das ditaduras, da fome mundial e até da própria morte – publicou um manifesto exigindo a criação de uma superinteligência digital para “resolver” todos os problemas da humanidade. Durante a década seguinte da sua vida, a sua “tecnofilia” transformou-se em fobia e, em 2008, escreveu sobre a sua história de conversão, admitindo que “dizer, ‘quase destruí o mundo!’, teria sido muito presunçoso”.

Yudkowsky agora é famoso por popularizar a ideia de que a AGI poderia matar a todos, e ele se tornou o mais vocal dos profetas do apocalipse da IA. Uma geração de amantes da tecnologia cresceu lendo as postagens do blog de Yudkowsky, mas muitos deles (talvez sendo Altman o de maior consequência) internalizaram seus argumentos de que desenvolver a AGI seria mais importante do que suas crenças sobre o quão difícil seria fazer com que ela não nos matasse.

Durante nossa conversa, Yudkowsky comparou a IA a uma máquina que “imprime ouro”, até “incendiar a atmosfera”.

E, independentemente de incendiar ou não a atmosfera, essa máquina está imprimindo ouro mais rápido do que nunca. O boom da “IA generativa” está tornando algumas pessoas muito, muito ricas. Desde 2019, a Microsoft investiu um total acumulado de US$ 13 bilhões na OpenAI. Impulsionada pelo grande sucesso do ChatGPT, a Microsoft ganhou quase US$ 1 trilhão em valor no ano seguinte ao lançamento do produto. Hoje, a empresa com quase cinquenta anos vale mais do que o Google e o Meta juntos.

Os atores que maximizam os lucros continuarão avançando, externalizando riscos que o resto de nós nunca concordou em suportar, na busca de riquezas – ou simplesmente a glória de criar superinteligência digital: Sutton tuitou “será a maior conquista intelectual de todos os tempos… cujo o significado está além da humanidade, além da vida, além do bem e do mal”. As pressões do mercado provavelmente levarão as empresas a transferir cada vez mais poder e autonomia para os sistemas de IA à medida que estes melhorarem.

Um pesquisador de IA do Google me escreveu: “Acho que as grandes corporações estão com tanta pressa para ganhar uma fatia maior do mercado que a segurança [da IA] é vista como uma espécie de distração boba”. Bengio me disse que vê “uma corrida perigosa entre empresas” que pode ficar ainda pior.

Em pânico em resposta ao mecanismo de busca Bing, baseado em OpenAI, o Google declarou um “código vermelho”, “recalibrou” seu apetite ao risco e correu para liberar Bard, seu LLM, apesar da oposição da equipe. Nas discussões internas, os funcionários chamavam Bard de “mentiroso patológico” e “digno de vergonha”. O Google o publicou de qualquer maneira.

Dan Hendrycks, diretor do Center for AI Safety, disse que “reduzir custos na segurança […] é em grande parte o que impulsiona o desenvolvimento da IA. […] Na verdade, não creio que, na presença destas intensas pressões competitivas, as intenções sejam particularmente importantes”. Ironicamente, Hendrycks também é consultor de segurança do xAI, o mais recente empreendimento de Elon Musk.

Todos os três principais laboratórios de IA começaram como organizações independentes e orientadas por valores, mas agora são ou subsidiárias de gigantes da tecnologia (Google DeepMind) ou assumiram tantos bilhões de dólares em investimentos de empresas de trilhões de dólares que os seus valores altruístas podem ser descartados pela busca incessante por valor para os acionistas (a Anthropic recebeu US$ 6 bilhões do Google e da Amazon juntas, e os US$ 13 bilhões da Microsoft comprou 49% do braço com fins lucrativos da OpenAI). O New York Times informou recentemente que os fundadores da DeepMind têm ficado “cada vez mais preocupados com o que o Google pode fazer com suas invenções. Em 2017, eles tentaram se separar da empresa. O Google respondeu aumentando os salários e prêmios em ações dos fundadores da DeepMind e de sua equipe. Eles continuaram onde estavam”.

Um desenvolvedor de um laboratório líder escreveu-me em outubro que, como a liderança desses laboratórios normalmente acredita realmente que a IA evitará a necessidade de dinheiro, a busca por lucro é “em grande parte instrumental” para fins de arrecadação de fundos. Mas “então os investidores (seja uma empresa de capital de risco ou a Microsoft) exercem pressão na busca de lucro”.

Entre 2020 e 2022, mais de 600 bilhões de dólares em investimento empresarial fluíram para a indústria, e uma única conferência sobre IA em 2021 acolheu quase trinta mil pesquisadores. Ao mesmo tempo, uma estimativa de setembro de 2022 revelou apenas quatrocentos pesquisadores de segurança da IA em tempo integral, e a principal conferência de ética da IA teve menos de novecentos participantes em 2023.

Da mesma forma que o software “devorou o mundo“, deveríamos esperar que a IA apresente uma dinâmica semelhante em que o vencedor leva tudo, que levará a concentrações ainda maiores de riqueza e poder. Altman previu que o “custo da inteligência” cairá para perto de zero como resultado da IA, e em 2021 escreveu que “ainda mais poder passará do trabalho para o capital”. Ele continuou: “Se as políticas públicas não se adaptarem adequadamente, a maioria das pessoas acabará em situação pior do que está hoje”. Também em sua thread “acalorada”, Jack Clark escreveu: “O capitalismo de economia de escala é, por natureza, antidemocrático, e a IA com uso intensivo de investimentos é, portanto, antidemocrática”.

Markus Anderljung é o chefe de política do GovAI, um importante think tank de segurança de IA, e o primeiro autor de um influente artigo focado na regulamentação da “IA de fronteira”. Ele escreveu-me e disse: “Se estamos preocupados com o capitalismo na sua forma atual, deveríamos estar ainda mais preocupados com um mundo onde grandes partes da economia são geridas por sistemas de IA explicitamente treinados para maximizar o lucro”.

Sam Altman, por volta de junho de 2021, concordou, contando a Ezra Klein sobre a filosofia fundadora da OpenAI: “Um dos incentivos que nos deixava muito nervosos era o incentivo ao lucro ilimitado, onde mais é sempre melhor […] E acho que com esses sistemas de IA de uso geral muito poderosos, em particular, você não quer um incentivo para maximizar o lucro indefinidamente”.

Em um movimento impressionante que se tornou amplamente visto como o maior ponto crítico no debate sobre segurança da IA até agora, o conselho da organização sem fins lucrativos da Open-AI demitiu o CEO Sam Altman em 17 de novembro de 2023, sexta-feira antes do Dia de Ação de Graças. O conselho, de acordo com o estatuto incomum da OpenAI, tem um dever fiduciário para com a “humanidade”, e não para com investidores ou funcionários. Como justificativa, o conselho citou vagamente a falta de franqueza de Altman, mas depois, ironicamente, manteve silêncio sobre a sua decisão.

Por volta das 3h da manhã da segunda-feira seguinte, a Microsoft anunciou que Altman criaria um laboratório de pesquisa avançada com cargos para todos os funcionários da OpenAI, a grande maioria dos quais assinou uma carta ameaçando aceitar a oferta da Microsoft se Altman não fosse reintegrado. (Embora ele pareça ser um CEO popular, vale a pena notar que a demissão interrompeu uma venda planejada de ações de propriedade de funcionários da OpenAI por uma avaliação da empresa de US$ 86 bilhões.) Pouco depois da 1h da manhã de quarta-feira, a OpenAI anunciou o retorno de Altman como CEO e dois novos membros do conselho: o ex-presidente do conselho do Twitter e o ex-secretário do Tesouro Larry Summers.

Em menos de uma semana, os executivos da OpenAI e Altman colaboraram com a Microsoft e a equipe da empresa para planejar seu retorno bem-sucedido e a remoção da maioria dos membros do conselho por trás de sua demissão. A prioridade da Microsoft era ter Altman de volta como CEO. A demissão inesperada inicialmente fez com que as ações do gigante da tecnologia despencassem 5% (US$ 140 bilhões), e o anúncio da reintegração de Altman levou-as ao nível mais alto de todos os tempos. Relutante em ser “pega de surpresa” novamente, a Microsoft está agora ocupando um lugar sem direito a voto no conselho da organização sem fins lucrativos.

Imediatamente após a demissão de Altman, X explodiu, e surgiu uma narrativa amplamente alimentada por rumores online e artigos de fontes anônimas de que membros do conselho preocupados com os perigos da IA, linha referida como altruísmo eficaz (EA), haviam demitido Altman por sua comercialização agressiva dos modelos da OpenAI em detrimento da segurança. Capturando o teor da resposta esmagadora do e/acc, o então pseudônimo fundador @BasedBeffJezos postou: “EAs são basicamente terroristas. Destruir 80 bilhões de valor durante a noite é um ato de terrorismo”.

A imagem que emergiu das matérias subsequentes foi que uma desconfiança fundamental em Altman, e não preocupações imediatas sobre a segurança da IA, motivou a escolha do conselho. O Wall Street Journal descobriu que “não houve um incidente que os levou à decisão de expulsar Altman, mas uma erosão lenta e consistente da confiança ao longo do tempo que os deixou cada vez mais inquietos”.

Semanas antes da demissão, Altman teria usado táticas desonestas para tentar destituir Helen Toner, membro do conselho, por causa de um artigo acadêmico de sua autoria que ele considerava crítico ao compromisso da OpenAI com a segurança da IA. No artigo, Toner, uma pesquisadora de governança de IA alinhado à EA, elogiou a Anthropic por evitar “o tipo de comportamento precipitado que o lançamento do ChatGPT pareceu estimular”.

A New Yorker relatou que “alguns dos seis membros do conselho consideraram Altman manipulador e conivente”. Dias após a demissão, um pesquisador de segurança de IA da DeepMind que trabalhava para a OpenAI escreveu que Altman “mentiu para mim em várias ocasiões” e “era enganoso, manipulador e pior com os outros”, uma avaliação ecoada por reportagens recentes da Time.

Esta não foi a primeira vez que Altman foi demitido. Em 2019, o fundador da Y Combinator, Paul Graham, removeu Altman do comando da incubadora por preocupações de que ele estava priorizando seus próprios interesses em detrimento dos da organização. Graham disse anteriormente: “Sam é extremamente bom em se tornar poderoso”.

O estranho modelo de governança da OpenAI foi estabelecido especificamente para evitar a influência corruptora da procura de lucro, mas como a Atlantic proclamou corretamente, “o dinheiro sempre vence”. E mais dinheiro do que nunca está sendo investido no avanço das capacidades da IA.

Velocidade máxima

O progresso recente da IA foi impulsionado pelo culminar de muitas tendências de décadas: aumentos na quantidade de poder de computação e dados utilizados para treinar modelos de IA, que foram amplificados por melhorias significativas na eficiência algorítmica. Desde 2010, o poder de computação usado para treinar modelos de IA aumentou cerca de cem milhões de vezes. A maioria dos avanços que vemos agora são produto de um campo que na época era muito menor e mais pobre.

E embora no ano passado tenha havido muito exagero sobre IA, a confluência destas três tendências levou a resultados quantificáveis. O tempo que os sistemas de IA levam para atingir um desempenho de nível humano em muitas tarefas de referência diminuiu drasticamente na última década.

É possível, claro, que os ganhos de capacidade da IA estagnem. Os pesquisadores podem ficar sem bons dados para usar. A lei de Moore – a observação de que o número de transistores num microchip duplica a cada dois anos – acabará por se tornar história. Os acontecimentos políticos podem perturbar as cadeias de produção e de abastecimento, aumentando os custos de computação. E a ampliação dos sistemas pode não levar mais a um melhor desempenho.

Mas a realidade é que ninguém conhece os verdadeiros limites das abordagens existentes. Um clipe de uma entrevista de Yann LeCun em janeiro de 2022 reapareceu no Twitter este ano. LeCun disse: “Não acho que possamos treinar uma máquina para ser inteligente puramente a partir de texto, porque acho que a quantidade de informação sobre o mundo contida no texto é pequena em comparação com o que precisamos saber”. Para ilustrar seu argumento, ele deu um exemplo: “Pego um objeto, coloco em cima da mesa e empurro a mesa. É completamente óbvio para você que o objeto seria empurrado com a mesa”. Porém, com “um modelo baseado em texto, se você treinar uma máquina, por mais poderosa que seja, seu ‘GPT-5000’ […] nunca vai aprender sobre isso”.

Mas se você der esse exemplo ao ChatGPT-3.5, ele instantaneamente fornecerá a resposta correta.

Em uma entrevista publicada quatro dias antes de sua demissão, Altman disse: “Até treinarmos esse modelo [GPT-5], é como um divertido jogo de adivinhação para nós. Estamos tentando nos tornar melhores nisso, porque acho importante, do ponto de vista da segurança, prever as capacidades. Mas não posso dizer exatamente o que ele fará que o GPT-4 não fez”.

A História está repleta de previsões erradas sobre o ritmo da inovação. Um editorial do New York Times afirmou que poderia levar “um milhão a dez milhões de anos” para desenvolver uma máquina voadora – sessenta e nove dias antes dos irmãos Wright voarem pela primeira vez. Em 1933, Ernest Rutherford, o “pai da física nuclear”, descartou com segurança a possibilidade de uma reação em cadeia induzida por nêutrons, inspirando o físico Leo Szilard a formular a hipótese de uma solução funcional no dia seguinte – uma solução que acabou sendo fundamental para a criação da bomba atômica.

Uma conclusão que parece difícil de evitar é que, recentemente, as pessoas que são melhores na construção de sistemas de IA acreditam que a AGI é possível e iminente. Talvez os dois principais laboratórios de IA, OpenAI e DeepMind, tenham trabalhado em AGI desde o seu início, começando quando admitir que você acreditava que ela seria viável no curto prazo poderia fazer de você motivo de piada. (Ilya Sutskever liderou um canto de “Feel the AGI” na festa de Natal de 2022 da OpenAI.)

Trabalhadores Perfeitos

Os empregadores já estão utilizando a IA para vigiar, controlar e explorar os trabalhadores. Mas o verdadeiro sonho é tirar os humanos da equação. Afinal, como escreveu Marx: “A máquina é um meio de produzir mais-valia”.

A pesquisadora de risco de IA da Open Philanthropy (OP), Ajeya Cotra, escreveu-me que “o ponto final lógico de uma economia capitalista ou de mercado maximamente eficiente” não envolveria humanos porque “os humanos são criaturas muito ineficientes para ganhar dinheiro”. Valorizamos todas estas emoções “comercialmente improdutivas”, escreve ela, “por isso, se acabarmos por nos divertir e gostar do resultado, será porque começamos com o poder e moldamos o sistema para se acomodar aos valores humanos”.

OP é uma fundação inspirada na EA, financiada pelo cofundador do Facebook, Dustin Moskovitz. É o principal financiador de organizações de segurança de IA, muitas das quais são mencionadas neste artigo. A OP também concedeu US$ 30 milhões à OpenAI para apoiar o trabalho de segurança de IA dois anos antes de o laboratório criar um braço com fins lucrativos em 2019. Anteriormente, recebi uma doação única para apoiar o trabalho de publicação na New York Focus , uma organização de notícias investigativas sem fins lucrativos que cobre a política de Nova York, de EA Funds, que recebe financiamento da OP. Depois de conhecer a EA em 2017, comecei a doar 10 a 20 por cento do meu rendimento para organizações sem fins lucrativos globais de saúde e anti-agricultura industrial, me voluntariei como organizador de comunidades locais e trabalhei numa organização sem fins lucrativos global contra a pobreza. A EA foi uma das primeiras comunidades a se envolver seriamente com o risco existencial da IA, mas olhei para o pessoal da IA com alguma cautela, dada a incerteza do problema e o sofrimento imenso e evitável que está acontecendo agora.

Uma AGI complacente seria o trabalhador com quem os capitalistas sonham: incansável, motivada e sem necessidade de pausas para ir ao banheiro. Gestores, de Frederick Taylor a Jeff Bezos, ressentem-se das diversas maneiras pelas quais os humanos não são otimizados para a produção – e, portanto, para os resultados financeiros de seus empregadores. Mesmo antes dos dias da gestão científica de Taylor, o capitalismo industrial tem procurado tornar os trabalhadores mais parecidos com as máquinas com as quais trabalham e pelas quais são cada vez mais substituídos. Como previu o Manifesto Comunista, o uso extensivo de maquinaria pelos capitalistas transforma o trabalhador num “apêndice da máquina”.

Mas, de acordo com a comunidade de segurança da IA, as mesmas capacidades desumanas que fariam Bezos salivar também tornam a AGI um perigo mortal para os humanos.

Explosão: O Caso da Extinção

O argumento comum do risco-x é: assim que os sistemas de IA atingirem um determinado nível, eles serão capazes de se auto-aperfeiçoar recursivamente, dando início a uma “explosão de inteligência”. Se um novo sistema de IA se tornar inteligente – ou apenas ampliado – o suficiente, será capaz de enfraquecer permanentemente a humanidade.

O artigo de outubro “Gerenciando riscos de IA” afirma:

Não há nenhuma razão fundamental para que o progresso da IA diminua ou pare quando atingir capacidades de nível humano. […] Em comparação com os humanos, os sistemas de IA podem agir mais rapidamente, absorver mais conhecimento e comunicar com uma velocidade muito maior. Além disso, eles podem ser dimensionados para usar imensos recursos computacionais e podem ser replicados aos milhões.

Esses recursos já possibilitaram habilidades sobre-humanas: os LLMs podem “ler” grande parte da Internet em meses, e o AlphaFold da DeepMind pode realizar anos de trabalho de laboratório humano em poucos dias.

Aqui está uma versão estilizada da ideia de crescimento “populacional” estimulando uma explosão de inteligência: se os sistemas de IA rivalizarem com os cientistas humanos em pesquisa e desenvolvimento, os sistemas proliferarão rapidamente, levando ao equivalente a um enorme número de novos trabalhadores altamente produtivos entrando no mercado. Dito de outra forma, se o GPT-7 puder executar a maioria das tarefas de um trabalhador humano e custar apenas alguns dólares para colocar o modelo treinado para trabalhar nas tarefas de um dia, cada instância do modelo seria extremamente lucrativa, iniciando uma reação em cadeia. Isto poderia levar a uma “população” virtual de milhões ou mais de trabalhadores digitais, cada um valendo muito mais do que o custo de energia necessário para o seu funcionamento. Sutskever acredita que é provável que “toda a superfície da Terra seja coberta por painéis solares e data centers”.

Estes trabalhadores digitais poderão ser capazes de melhorar os nossos designs de IA e iniciar o seu caminho para a criação de sistemas “superinteligentes”, cujas capacidades Alan Turing especulou em 1951 que em breve “ultrapassariam os nossos fracos poderes”. E, como argumentam alguns defensores da segurança da IA, um modelo individual de IA não precisa ser superinteligente para representar uma ameaça existencial; pode ser necessário apenas haver cópias suficientes dele. Muitas das minhas fontes compararam as corporações a superinteligências, cujas capacidades excedem claramente as dos seus membros constituintes.

“Basta desconectá-lo”, é a resposta comum. Mas quando um modelo de IA for suficientemente poderoso para ameaçar a humanidade, será provavelmente a coisa mais valiosa que existe. Talvez seja mais fácil “desconectar” a Bolsa de Valores de Nova York ou a Amazon Web Services.

Uma superinteligência preguiçosa pode não representar um grande risco, e céticos como Oren Etzioni, CEO do Allen Institute for AI, a professora de complexidade Melanie Mitchell e a diretora-gerente do AI Now Institute, Sarah Myers West, me disseram que não viram evidências convincentes de que os sistemas de IA estão tornando-se mais autônomos. Dario Amodei, da Anthropic, parece concordar que os sistemas atuais não apresentam um nível preocupante de agência. No entanto, um sistema completamente passivo, mas suficientemente poderoso, controlado por um malfeitor é suficiente para preocupar pessoas como Bengio.

Além disso, tanto os acadêmicos como os industriais estão aumentando os esforços para tornar os modelos de IA mais autônomos. Dias antes da sua demissão, Altman disse ao Financial Times: “Tornaremos estes agentes cada vez mais poderosos […] e as ações ficarão cada vez mais complexas a partir daqui. […] A quantidade de valor comercial que resultará da capacidade de fazer isso em todas as categorias, eu acho, é muito boa”.

O que há por trás do hype?

O medo que mantém muitas pessoas do risco-x acordadas à noite não é que uma IA avançada “acorde”, “se torne má” e decida matar todos por maldade, mas sim que ela passe a nos ver como um obstáculo para quaisquer que sejam os objetivos que tenha. Em seu último livro, Brief Answers to the Big Questions, Stephen Hawking articulou isso, dizendo: “Você provavelmente não é um odiador de formigas malvado que pisa em formigas por maldade, mas se você é responsável pelo projeto de uma hidrelétrica e há um formigueiro na região que será inundada, as formigas que se virem”.

Comportamentos inesperados e indesejáveis podem resultar de objetivos simples, seja o lucro ou uma função de incentivo da IA. Num mercado “livre”, a procura do lucro leva a monopólios, esquemas de marketing multinível, ar e rios envenenados e inúmeros outros danos.

Existem exemplos abundantes de sistemas de IA que apresentam comportamentos surpreendentes e indesejados. Um programa feito para eliminar erros de ordenação em uma lista simplesmente a excluiu. Um pesquisador ficou surpreso ao encontrar um modelo de IA “fingir-se de morto” para evitar ser identificado em testes de segurança.

Outros ainda veem uma conspiração da Big Tech surgindo por trás dessas preocupações. Algumas pessoas focadas nos danos imediatos da IA argumentam que a indústria está promovendo ativamente a ideia de que seus produtos podem acabar com o mundo, como Myers West, do AI Now Institute, que diz que “vê as narrativas em torno do chamado risco existencial como uma armação para concentrar todas as atenções, a fim de garantir que não haja uma reação significativa focando no momento presente”. Estranhamente, Yann LeCun e o cientista-chefe da IA do Baidu, Andrew Ng, concordam.

Quando apresentei a ideia aos que acreditam no risco-x, eles muitas vezes responderam com uma mistura de confusão e exasperação. Ajeya Cotra, da OP, respondeu: “Gostaria que a preocupação com o risco-x fosse algo menos associado à indústria, porque acho que é fundamentalmente, no mérito, uma crença muito anti-indústria de se ter. […] Se as empresas estão construindo coisas que vão matar a todos nós, isso é muito ruim, e elas deveriam ser restringidas de forma muito rigorosa pela lei”.

Markus Anderljung, do GovAI, classificou os receios de captura regulamentar como “uma reação natural que as pessoas têm”, mas enfatizou que as suas políticas preferidas podem muito bem prejudicar os maiores intervenientes da indústria.

Uma fonte compreensível de suspeita é que Sam Altman é agora uma das pessoas mais associadas à ideia do risco existencial, mas a sua empresa fez mais do que qualquer outra para avançar a fronteira da IA de uso geral.

Além disso, à medida que a OpenAI se aproximava da lucratividade e Altman se aproximava do poder, o CEO mudou seu tom público. Em uma sessão de perguntas e respostas de janeiro de 2023, quando questionado sobre seu pior cenário para IA, ele respondeu: “As luzes se apagariam para todos nós”. Mas ao responder a uma pergunta semelhante sob juramento perante senadores em maio, Altman não menciona a extinção. E, talvez em sua última entrevista antes de sua demissão, Altman disse: “Na verdade, não acho que todos seremos extintos. Eu acho que vai ser ótimo. Acho que estamos caminhando para o melhor mundo de todos”.

Altman implorou ao Congresso em maio que regulamentasse a indústria de IA, mas uma investigação de novembro descobriu que a Microsoft, empresa quase controladora da OpenAI, foi influente no lobby malsucedido para excluir “modelos de base” como ChatGPT da regulamentação pela próxima Lei de IA da UE. E Altman fez muito lobby na UE, ameaçando mesmo retirar-se da região se as regulamentações se tornassem demasiado onerosas (ameaças que ele rapidamente reverteu). Falando num painel de CEOs em São Francisco, dias antes de sua demissão, Altman disse que “os modelos atuais estão bem. Não precisamos de regulamentação pesada aqui. Provavelmente nem mesmo nas próximas gerações”.

A recente e abrangente ordem executiva do presidente Joe Biden sobre IA parece concordar: os seus requisitos de partilha de informações de testes de segurança afetam apenas modelos maiores do que qualquer um que provavelmente foi treinado até agora. Myers West chamou esses tipos de “limiares de escala” de “exclusão massiva”. Anderljung escreveu-me que a regulamentação deveria ser escalonada de acordo com as capacidades e a utilização de um sistema, e disse que “gostaria de alguma regulamentação dos modelos mais capazes e amplamente utilizados de hoje”, mas acha que “será muito mais politicamente viável impor requisitos a sistemas que ainda estão para ser desenvolvidos”.

Inioluwa Deborah Raji arriscou que se os gigantes da tecnologia “sabem que têm que ser os bandidos em alguma dimensão […] eles preferem que seja de uma forma abstrata e para um futuro distante”. Isso me parece muito mais plausível do que a ideia de que a Big Tech realmente queira promover a ideia de que seus produtos têm uma chance razoável de literalmente matar todo mundo.

Quase setecentas pessoas assinaram a carta de extinção, a maioria delas acadêmicos. Apenas um deles dirige uma empresa de capital aberto: o financiador do OP, Moskovitz, que também é cofundador e CEO da Asana, um aplicativo de produtividade. Não havia nenhum funcionário da Amazon, Apple, IBM ou de qualquer empresa líder de hardware para IA. Nenhum executivo da Meta assinou.

Se os chefes das grandes empresas tecnológicas quisessem amplificar a narrativa da extinção, porque não acrescentariam os seus nomes à lista?

Por que construir a “Máquina do Fim do Mundo?”

Se a IA realmente salvar o mundo, quem quer que a crie poderá esperar ser elogiado como um Júlio César moderno. E mesmo que isso não aconteça, quem primeiro construir “a última invenção que o homem alguma vez precisou fazer” não terá de se preocupar em ser esquecido pela História – a menos, claro, que a História termine abruptamente após a sua invenção.

Connor Leahy pensa que, no nosso caminho atual, o fim da História seguirá em breve o advento da AGI. Com seu cabelo esvoaçante e cavanhaque despenteado, ele provavelmente se sentiria em casa usando uma placa escrita “O fim está próximo” – embora isso não o tenha impedido de ser convidado para discursar na Câmara dos Lordes britânica ou na CNN. O CEO da Conjecture, de 28 anos, e cofundador da EleutherAI, um influente coletivo de código aberto, me disse que grande parte da motivação para construir a IA se resume a: “‘Oh, você está construindo a máquina do fim do mundo que te renderá bilhões de dólares e te fará imperador da terra ou matará todo mundo?’ Sim, isso é como o sonho masculino. Você fica tipo, ‘É isso aí! Eu sou o rei do apocalipse.'” Ele continua: “Eu entendo. Isso está muito presente na estética do Vale do Silício”.

Leahy também relatou algo que não surpreenderá as pessoas que passaram um tempo significativo na Bay Area ou em certos cantos da Internet:

Realmente existem empresários e tecnólogos tecnoutópicos, completamente irresponsáveis, não eleitos, vivendo principalmente em São Francisco, que estão dispostos a arriscar a vida de vocês, de seus filhos, de seus netos e de toda a humanidade futura, por uma chance de viver para sempre.

Em março, o MIT Technology Review noticiou que Altman “diz que esvaziou sua conta bancária para financiar dois […] objetivos: energia ilimitada e extensão da vida humana”.

Tendo em conta tudo isto, seria de esperar que a comunidade de ética visse a comunidade de segurança como um aliado natural numa luta comum para controlar as elites tecnológicas irresponsáveis que estão construindo unilateralmente produtos arriscados e prejudiciais. E, como vimos anteriormente, muitos defensores da segurança fizeram gestos aos especialistas em ética da IA. Também é raro que pessoas da comunidade de risco-x ataquem publicamente a ética da IA (embora o inverso… não seja verdade), mas a realidade é que os defensores da segurança têm sido por vezes difíceis de engolir.

Os especialistas em ética da IA, tal como as pessoas que defendem, muitas vezes relatam que se sentem marginalizados e afastados do poder real, travando uma batalha difícil com empresas de tecnologia que os vêem como uma forma de se protegerem e não como uma verdadeira prioridade. O desmantelamento das equipes de ética de IA em muitas grandes empresas de tecnologia nos últimos anos (ou dias) justifica esse sentimento. E, em vários casos, estas empresas retaliaram contra denunciantes e organizadores sindicais orientados para a ética.

Isso não implica necessariamente que essas empresas estejam priorizando seriamente o risco-x. O conselho de ética do Google DeepMind, que incluía Larry Page e o proeminente pesquisador de riscos existenciais Toby Ord, teve sua primeira reunião em 2015, mas nunca teve uma segunda. Um pesquisador de IA do Google me escreveu que “não falam sobre riscos de longo prazo […] no escritório”, continuando, “o Google está mais focado na construção de tecnologia e na segurança no sentido de legalidade e/ou evitar ofender a opinião pública”.

A engenheira de software Timnit Gebru co-liderou a equipe ética de IA do Google até ser forçada a deixar a empresa no final de 2020, após uma disputa sobre um rascunho de artigo – agora uma das publicações sobre aprendizado de máquina mais famosas de todos os tempos. No artigo sobre “papagaios estocásticos”, Gebru e seus co-autores argumentam que os LLMs prejudicam o meio ambiente, amplificam os preconceitos sociais e usam estatísticas para unir a linguagem “ao acaso” “sem qualquer referência ao significado”.

Gebru, que não é fã da comunidade de segurança de IA, pediu mais proteções para pesquisadores de IA que venham a fazer denúncias, o que também é uma das principais recomendações feitas no artigo do GovAI. Desde que Gebru foi expulsa do Google, quase 2.700 funcionários assinaram uma carta solidária, mas o googler Geoff Hinton não era um deles. Quando questionado na CNN por que ele não apoiava uma colega denunciante, Hinton respondeu que as críticas de Gebru à IA “eram preocupações bastante diferentes das minhas” que “não são tão existencialmente sérias quanto a ideia de que essas coisas se tornem mais inteligentes do que nós e assumam o controle”.

Raji disse-me que “a principal causa de frustração e animosidade” entre os campos da ética e da segurança é que “um lado tem muito mais dinheiro e poder do que o outro”, o que “permite-lhes impulsionar a sua agenda de forma mais direta”.

De acordo com uma estimativa, a quantidade de dinheiro transferida para start-ups e organizações sem fins lucrativos de segurança de IA em 2022 quadruplicou desde 2020, atingindo US$ 144 milhões. É difícil encontrar um número equivalente para a comunidade de ética da IA. Contudo, a sociedade civil de ambos os campos é ofuscada pelos gastos da indústria. Apenas no primeiro trimestre de 2023, a OpenSecrets relatou que cerca de US$ 94 milhões foram gastos em lobby de IA nos Estados Unidos. A LobbyControl estimou que as empresas tecnológicas gastaram 113 milhões de euros este ano em lobby na UE, e devemos lembrar que centenas de bilhões de dólares estão sendo investidos na indústria da IA neste momento.

Uma coisa que pode impulsionar a animosidade ainda mais do que qualquer diferença percebida em poder e dinheiro é a tendência. Após livros amplamente elogiados como Weapons of Math Destruction de 2016, da cientista de dados Cathy O’Neil, e descobertas bombásticas de viés algorítmico, como o artigo “Gender Shades” de 2018 de Buolamwini e Gebru, a perspectiva da ética da IA capturou a atenção e o apoio do público.

Em 2014, o grupo risco-x da IA teve seu próprio best-seller surpresa, Superinteligência do filósofo Nick Bostrom, que argumentava que uma IA mais avançada do que humanos poderia levar à extinção e recebeu elogios de figuras como Elon Musk e Bill Gates. Mas Yudkowsky me disse que, antes do ChatGPT, fora de certos círculos do Vale do Silício, considerar seriamente a tese do livro faria as pessoas olharem para você de forma engraçada. Os primeiros proponentes da segurança da IA, como Yudkowsky, ocuparam a estranha posição de manter laços estreitos com a riqueza e o poder através dos tecnólogos da Bay Area, permanecendo, ao mesmo tempo, marginalizados no discurso mais amplo.

No mundo pós-ChatGPT, os ganhadores de prêmios Turing e Nobel estão saindo do armário da segurança da IA e abraçando argumentos popularizados por Yudkowsky, cuja publicação mais conhecida é uma peça de fanfiction de Harry Potter, totalizando mais de 660.000 palavras.

Talvez o presságio mais chocante deste novo mundo tenha sido transmitido em novembro, quando os apresentadores de um podcast de tecnologia do New York Times, Hard Fork, perguntaram ao presidente da Comissão Federal de Comércio: “Qual é a sua p(apocalipse), Lina Khan? Quanto você estima ser a da probabilidade de que a IA mate todos nós?” A conversa sobre bebedouros da EA se tornou popular. (Khan disse que é “otimista” e deu uma estimativa “baixa” de 15%.)

Seria fácil observar todas as cartas abertas e ciclos midiáticos e pensar que a maioria dos pesquisadores em IA está se mobilizando contra o risco existencial. Mas quando perguntei a Bengio sobre como o risco-x é percebido hoje na comunidade de aprendizado de máquina, ele disse: “Ah, mudou muito. Costumava ser cerca de 0,1% das pessoas que prestavam atenção à questão. E talvez agora seja 5 por cento”.

Probabilidades

Como muitos outros preocupados com o risco-x da IA, o renomado filósofo da mente David Chalmers apresentou um argumento probabilístico durante nossa conversa: “Esta não é uma situação em que você tenha que estar 100 por cento certo de que teremos uma IA de nível humano para se preocupar. Mesmo se for 5%, temos que nos preocupar com isso”.

Esse tipo de pensamento estatístico é popular na comunidade de EA e é uma grande parte do que levou seus membros a se concentrarem na IA em primeiro lugar. Se você olhar os argumentos dos especialistas, poderá ficar confuso. Mas se você tentar calcular a média da preocupação dos especialistas a partir de um punhado de pesquisas, poderá acabar pensando que há pelo menos uma pequena chance de que a extinção da IA possa acontecer, o que poderia ser suficiente para torná-la a coisa mais importante do mundo. E se atribuirmos algum valor a todas as gerações futuras que possam existir, a extinção humana é categoricamente pior do que catástrofes passíveis de sobrevivência.

No entanto, no debate sobre IA, abundam as alegações de arrogância. Céticos como Melanie Mitchell e Oren Etzioni disseram-me que não havia provas que apoiassem o argumento do risco-x, enquanto crentes como Bengio e Leahy apontam para ganhos de capacidade surpreendentes e perguntam: e se o progresso não parar? Um amigo pesquisador acadêmico de IA comparou o advento da AGI a jogar a economia e a política globais em um liquidificador.

Mesmo que, por alguma razão, a AGI só consiga igualar e não exceder a inteligência humana, a perspectiva de partilhar a Terra com um número quase arbitrariamente grande de agentes digitais de nível humano é assustadora, especialmente quando provavelmente estarão tentando ganhar dinheiro para alguém.

Existem demasiadas ideias políticas sobre como reduzir o risco existencial da IA para serem discutidas adequadamente aqui. Mas uma das mensagens mais claras provenientes da comunidade de segurança da IA é que devemos “desacelerar”. Os defensores de tal desaceleração esperam que ela dê aos políticos e à sociedade em geral a oportunidade de recuperar o atraso e decidir ativamente como uma tecnologia potencialmente transformadora é desenvolvida e implementada.

Cooperação internacional

Uma das respostas mais comuns a qualquer esforço para regulamentar a IA é “mas e a China?!”. Altman, por exemplo, disse numa comissão do Senado em maio que “queremos que os EUA lidere” e destacou que o perigo de desacelerar é de que “a China ou qualquer outra pessoa faça progressos mais rápidos”.

Anderljung escreveu-me que esta “não é uma razão suficientemente forte para não regulamentar a IA”.

Num artigo do Foreign Affairs de junho, Helen Toner e dois cientistas políticos relataram que os pesquisadores chineses de IA que entrevistaram pensavam que os LLM chineses estão pelo menos dois a três anos atrás dos modelos americanos de última geração. Além disso, os autores argumentam que, uma vez que os avanços da IA chinesa “dependem muito da reprodução e do ajuste de pesquisas publicadas no estrangeiro”, uma desaceleração unilateral “provavelmente desaceleraria” também o progresso chinês. A China também agiu mais rapidamente do que qualquer outro grande país para regulamentar significativamente a IA, como observou o chefe de política da Anthropic, Jack Clark.

Yudkowsky diz: “Na verdade, não é do interesse da China cometer suicídio juntamente com o resto da humanidade”.

Se a IA avançada realmente ameaça o mundo inteiro, uma regulamentação nacional por si só não será suficiente. Mas restrições nacionais robustas poderiam sinalizar de forma credível a outros países a seriedade com que encaramos os riscos. O proeminente especialista em ética de IA, Rumman Chowdhury, pediu supervisão global. Bengio diz que “temos que fazer as duas coisas”.

Yudkowsky, como esperado, assumiu uma posição maximalista, dizendo-me que “a direção correta seria algo como colocar todo o hardware de IA num número limitado de data centers sob supervisão internacional por órgãos com um tratado simétrico segundo o qual ninguém – incluindo os militares, governos, a China ou a CIA – podem fazer qualquer uma das coisas realmente terríveis, incluindo a construção de superinteligências”.

Num controverso artigo de opinião na Time em março, Yudkowsky defendeu “acabar com tudo”, estabelecendo uma moratória internacional sobre “novas grandes sessões de treino” apoiadas pela ameaça da força militar. Dadas as fortes crenças de Yudkowsky de que a IA avançada seria muito mais perigosa do que qualquer arma nuclear ou biológica, esta posição radical seria uma consequência natural.

Todos os vinte e oito países presentes na recente na Reunião de Cúpula sobre Segurança em IA (AI Safety Summit), incluindo os Estados Unidos e a China, assinaram a Declaração de Bletchley, que reconheceu os danos existentes da IA e o fato de que “riscos substanciais podem surgir do potencial uso indevido intencional ou de questões não intencionais de controle relacionadas ao alinhamento da IA à intenção humana”.

No encontro, o governo britânico anfitrião encarregou Bengio de liderar a produção do primeiro relatório “Estado da Ciência” sobre as “capacidades e riscos da IA de ponta”, num passo significativo em direção a um órgão especializado permanente como o Painel Intergovernamental sobre Alterações Climáticas.

A cooperação entre os Estados Unidos e a China será imperativa para uma coordenação internacional significativa no desenvolvimento da IA. E quando se trata de IA, os dois países não estão exatamente em uma boa relação. Com os controles de exportação da Lei CHIPS de 2022, os Estados Unidos tentaram limitar as capacidades de IA da China, algo que um analista da indústria teria anteriormente consideradonas melhores condições um “ato de guerra“. Tal como a Jacobin relatou em maio, alguns pesquisadores da linha risco-x provavelmente desempenharam um papel na aprovação dos onerosos controles. Em outubro, os Estados Unidos reforçaram as restrições da Lei CHIPS para fechar lacunas.

No entanto, num sinal encorajador, Biden e Xi Jinping discutiram a segurança da IA e a proibição da IA em sistemas de armas letais em novembro. Um comunicado de imprensa da Casa Branca declarou: “Os líderes afirmaram a necessidade de abordar os riscos dos sistemas avançados de IA e melhorar a segurança da IA através de conversações governamentais entre os EUA e a China”.

As armas letais autônomas são também uma área de relativo acordo nos debates sobre IA. Em seu novo livro Unmasking AI: My Mission to Protect What Is Human in a World of Machines, Joy Buolamwini defende a campanha Stop Killer Robots (Não aos Robôs Assassinos), ecoando uma preocupação de longa data de muitos defensores da segurança da IA. O Future of Life Institute, uma organização alinhada ao risco-x, reuniu opositores ideológicos para assinar uma carta aberta em 2016 pedindo a proibição de leis ofensivas, incluindo Bengio, Hinton, Sutton, Etzioni, LeCun, Musk, Hawking e Noam Chomsky.

Um lugar à mesa

Após anos de inação, os governos mundiais estão finalmente voltando a atenção para a IA. Mas ao não se envolverem seriamente naquilo que os sistemas futuros poderão fazer, os socialistas estão cedendo o seu lugar à mesa.

Em grande parte devido aos tipos de pessoas que se sentiram atraídas pela IA, muitos dos primeiros adotantes sérios da ideia do risco-x decidiram envolver-se em pesquisas extremamente teóricas sobre como controlar a IA avançada ou fundaram empresas de IA. Mas para um tipo diferente de pessoa, a resposta ao acreditar que a IA pode acabar com o mundo é tentar fazer com que as pessoas parem de construí-la.

Os impulsionadores continuam dizendo que o desenvolvimento da IA é inevitável – e se um número suficiente de pessoas acreditar, isso se tornará verdade. Mas “não há nada inevitável na inteligência artificial”, escreve o AI Now Institute. O diretor administrativo Myers West repetiu isso, mencionando que a tecnologia de reconhecimento facial parecia inevitável em 2018, mas desde então foi proibida em muitos lugares. E, como aponta Katja Grace, pesquisadora de risco-x, não deveríamos sentir a necessidade de construir todas as tecnologias simplesmente porque podemos.

Além disso, muitos legisladores estão observando os avanços recentes da IA e se desesperando. O senador Mitt Romney está “mais aterrorizado com a IA” do que otimista, e seu colega Chris Murphy diz: “As consequências de tantas funções humanas serem terceirizadas para a IA são potencialmente desastrosas”. Os congressistas Ted Lieu e Mike Johnson estão realmente assustados com a IA. Se certos tecnólogos forem as únicas pessoas dispostas a reconhecer que as capacidades da IA melhoraram dramaticamente e poderão representar uma ameaça para toda a espécie no futuro, serão principalmente a eles que os decisores políticos darão ouvidos. Em maio, o professor e especialista em ética em IA Kristian Lum tuitou: “Há um risco existencial que tenho certeza que os LLMs representam e é para a credibilidade do campo de FAccT [Justiça, Responsabilidade e Transparência] / IA Ética se continuarmos defendendo uma narrativa placebo sobre eles”.

Mesmo se a ideia da extinção causada pela IA pareça a você mais fictícia do que científica, ainda poderia haver um enorme impacto em influenciar a forma como uma tecnologia transformadora é desenvolvida e quais os valores que ela representa. Assumindo que podemos conseguir que uma AGI hipotética faça o que queremos, levanta talvez a questão mais importante que a humanidade alguma vez enfrentará: O que deveríamos querer que ela queira?

Quando perguntei a Chalmers sobre isto, ele disse: “Em algum momento recapitulamos todas as questões da filosofia política: que tipo de sociedade realmente queremos e que realmente valorizamos?”

Uma forma de pensar sobre o advento da IA de nível humano é que seria como criar a constituição de um novo país (a “IA constitucional” da Anthropic implementa esta ideia literalmente, e a empresa recentemente experimentou incorporar elementos democráticos no documento fundacional do seu modelo). Os governos são sistemas complexos que exercem um enorme poder. A base sobre a qual estão estabelecidos pode influenciar a vida de milhões de pessoas agora e no futuro. Os estadunidenses vivem sob o domínio de homens mortos que tinham tanto medo do povo que construíram medidas antidemocráticas que continuam a atormentar o sistema político dos Estados Unidos mais de dois séculos depois.

A IA pode ser mais revolucionária do que qualquer inovação anterior. É também uma tecnologia especialmente normativa, dado o quanto a construímos para refletir as nossas preferências. Como Jack Clark disse recentemente à Vox: “É realmente estranho que este não seja um projeto governamental”. Chalmers me disse: “Quando de repente tivermos as empresas de tecnologia tentando incorporar esses objetivos em sistemas de IA, teremos que realmente confiar nelas para acertar essas questões sociais e políticas muito profundas. Não tenho certeza se eu confio. Ele enfatizou: “Está não é apenas uma reflexão técnica, mas social e política”.

Falsas escolhas

Talvez não precisemos esperar para encontrar sistemas superinteligentes que não priorizem a humanidade. Agentes sobre-humanos otimizam implacavelmente por uma recompensa às custas de qualquer outra coisa que nos interesse. Quanto mais capaz for o agente e mais implacável for o otimizador, mais extremos serão os resultados.

Soa familiar? Se sim, você não está sozinho. O AI Objectives Institute (AOI) considera tanto o capitalismo quanto a IA como exemplos de otimizadores desalinhados. Co-fundado pela ex-apresentadora de um programa de rádio Brittney Gallagher e pelo “herói da privacidade” Peter Eckersley pouco antes de sua morte inesperada, o laboratório de pesquisa examina o espaço entre a aniquilação e a utopia, “uma continuação da tendência existente de concentração de poder em menos mãos – intensificada pelo avanço a IA – em vez de uma ruptura brusca com o presente”. O presidente da AOI, Deger Turan, me disse: “Risco existencial é a falha na coordenação diante de um risco”. Ele diz que “precisamos criar pontes entre” a segurança da IA e a ética da IA.

Uma das ideias mais influentes nos círculos de risco-x é a maldição do “unilateralista” (unilateralist’s curse), um termo para situações em que um único ator pode arruinar as coisas para todo o grupo. Por exemplo, se um grupo de biólogos descobre uma maneira de tornar uma doença mais mortal, basta apenas um deles para publicá-la. Nas últimas décadas, muitas pessoas se convenceram de que a IA poderia acabar com a humanidade, mas apenas as mais ambiciosas e tolerantes ao risco deram início às empresas que estão agora avançando a fronteira das capacidades da IA, ou, como Sam Altman disse recentemente, afastando o “véu da ignorância”. Como destacou o CEO, não temos como saber verdadeiramente o que está além do limite tecnológico.

Alguns de nós entendem perfeitamente os riscos, mas seguem em frente mesmo assim. Com a ajuda de cientistas de ponta, a ExxonMobil descobriu conclusivamente em 1977 que o seu produto causava o aquecimento global. Eles então mentiram ao público sobre isso, enquanto construíam suas plataformas de petróleo mais altas.

A ideia de que a queima de carbono poderia aquecer o clima foi levantada pela primeira vez no final do século XIX, mas o consenso científico sobre as alterações climáticas demorou quase cem anos para se formar. A ideia de que poderíamos perder permanentemente o controle para as máquinas é mais antiga do que a computação digital, mas continua longe de um consenso científico. E se o progresso recente da IA continuar em ritmo acelerado, poderemos não ter décadas para formar um consenso antes de agirmos de forma significativa.

O debate que se desenrola em praça pública pode levar-nos a acreditar que temos de escolher entre abordar os danos imediatos da IA e os seus riscos existenciais inerentemente especulativos. E há certamente consequências que requerem considerações cuidadosas.

Mas quando olhamos para as forças materiais em jogo, surge uma imagem diferente: num canto estão empresas de trilhões de dólares tentando tornar os modelos de IA mais poderosos e lucrativos; noutro, encontramos grupos da sociedade civil tentando fazer com que a IA reflita valores que rotineiramente colidem com a maximização do lucro.

Em suma, é capitalismo versus humanidade.

Este texto foi traduzido por IA e revisado por humanos.

---