Eu me dou crédito por estar significativamente à frente do meu tempo. Conheci a inteligência artificial (I.A.) pela primeira vez em 1968, quando tinha apenas 24 anos e, desde o início, senti seus perigos profundos. Porém, eu não estava nada sozinho. Eu fui, sem dúvida, um dos milhões de pessoas que assistiram ao filme 2001: Uma Odisséia no Espaço, dirigido por Stanley Kubrick a partir de um roteiro escrito com Arthur C. Clarke ( inspirado no conto “O Sentinela”, que o famoso escritor de ficção científica Clarke produziu em — sim! — em 1948). A I.A. então tinha um nome real, HAL 9.000 (mas chame “ele” de Hal).
O Futuro da I.A. é Guerra… a ‘Extinção Humana’ apenas um Dano Colateral
Fonte: Tomdispatch.com
E não, a primeira I.A. imaginada no meu mundo de 1968, há 55 anos atrás, não agiu bem, o que deveria ter sido (mas não foi) uma lição para todos nós. Embutido em uma nave espacial rumo a Júpiter, a I.A. matou quatro dos cinco astronautas e fez todo o possível para também eliminar o último deles antes de ser desligado.
Deveria, é claro, ter sido um aviso para todos nós sobre um mundo em que realmente entraríamos neste século XXI. Infelizmente, como acontece com tantas coisas que preocupam o planeta Terra, parece que não pudemos evitar. A imaginária I.A. do filme, HAL 9000 estava destinado a se tornar uma realidade – ou melhor, realidades infinitamente multiplicadas – neste nosso mundo.
Nesse contexto, Michael Klare, regular do TomDispatch, que há anos alerta sobre um futuro “humano” no qual “Generais robôs” podem acabar comandando forças armadas globalmente, considera as guerras que estão por vir, o que pode significar para a I.A. substituir a inteligência humana nas principais forças armadas do mundo e aonde isso pode nos levar. Não tenho certeza se Stanley Kubrick ou Arthur C. Clarke ficariam surpresos.
O Futuro da I.A. é a Guerra… E a extinção humana como apenas um dano colateral – Por MICHAEL KLARE
É horrível imaginar um mundo no qual máquinas governadas por inteligência artificial (IA) substituem sistematicamente seres humanos na maioria das funções comerciais, industriais e profissionais. Afinal, como proeminentes cientistas da computação têm nos alertado, sistemas governados por IA são propensos a erros críticos e “alucinações” inexplicáveis, ocasionando em resultados potencialmente catastróficos.
Mas há um cenário ainda mais perigoso e imaginável a partir da proliferação de máquinas cada vez mais superinteligentes: a possibilidade de que essas entidades não humanas acabem lutando entre si, destruindo toda a vida humana no processo, apenas como um dano colateral.
A noção de que computadores superinteligentes podem enlouquecer e massacrar humanos há muito tempo é um elemento básico da cultura popular. No profético filme de 1983 “WarGames”, um supercomputador conhecido como WOPR (para War Operation Plan Response e, não surpreendentemente, pronuncia-se “whopper”) quase provoca uma guerra nuclear catastrófica entre os Estados Unidos e a União Soviética antes de ser desativado por um hacker (interpretado por Matthew Broderick) adolescente.
A franquia de filmes “O Exterminador do Futuro”, começando com o filme original de 1984, “Terminator” também imaginou um supercomputador autoconsciente chamado “Skynet” que, como o WOPR, foi projetado para controlar as armas nucleares dos EUA, mas optou por acabar com a humanidade, vendo-nos como uma ameaça à sua própria existência.
Embora uma vez confinado ao reino da ficção científica, o conceito de supercomputadores matando humanos agora se tornou uma possibilidade distinta no mundo real de um futuro próximo. Além de desenvolver uma ampla variedade de dispositivos de combate “autônomos” ou robóticos, as principais potências militares também estão correndo para criar sistemas automatizados de tomada de decisão no campo de batalha, ou o que pode ser chamado de “generais robôs“.
Em guerras em um futuro não muito distante, esses sistemas alimentados por IA podem ser implantados para entregar ordens de combate aos soldados americanos, ditando onde, quando e como eles matam as tropas inimigas ou recebem fogo de seus oponentes. Em alguns cenários, os tomadores de decisão dos robôs podem até mesmo exercer controle sobre as armas atômicas dos Estados Unidos, potencialmente permitindo que eles iniciem uma guerra nuclear resultando no fim da humanidade.
Agora, respire por um momento. A instalação de um sistema de comando e controle (C2) alimentado por IA como esse pode parecer uma possibilidade distante. No entanto, o Departamento de Defesa dos EUA está trabalhando arduamente para desenvolver o hardware e o software necessários de maneira sistemática e cada vez mais rápida. Em seu orçamento para 2023, por exemplo, a Força Aérea solicitou US$ 231 milhões para desenvolver o Advanced Battlefield Management System (ABMS), uma rede complexa de sensores e computadores habilitados para IA projetados para coletar e interpretar dados sobre operações inimigas e fornecer aos pilotos e forças terrestres com um menu de opções de ataque ideais. Com o avanço da tecnologia, o sistema será capaz de enviar instruções de “disparar” diretamente para “atiradores”, ignorando em grande parte o controle humano das armas.
“Uma ferramenta de troca de dados máquina a máquina que fornece opções para dissuasão, ou para rampa [uma demonstração de força militar] ou engajamento antecipado”, foi como Will Roper, secretário adjunto da Força Aérea para aquisição, tecnologia, e logística, descreveu o sistema ABMS em uma entrevista de 2020. Sugerindo que “precisamos mudar o nome” à medida que o sistema evolui, Roper acrescentou: “Acho que a Skynet está fora, por mais que eu adoraria fazer isso como uma coisa de ficção científica. Só não acho que podemos ir lá”.
E embora ele não possa ir para lá, é exatamente para onde o resto de nós pode, de fato, estar indo.
Lembre-se, isso é apenas o começo. De fato, o ABMS da Força Aérea pretende constituir o núcleo de uma constelação maior de sensores e computadores que conectará todas as forças de combate dos EUA, o Joint All-Domain Command-and-Control System (JADC2, pronunciado “Jad-C-two ”). “O JADC2 pretende permitir que os comandantes tomem melhores decisões coletando dados de vários sensores, processando os dados usando algoritmos de inteligência artificial para identificar alvos e, em seguida, recomendando a arma ideal…
IA e o Gatilho Nuclear
Inicialmente, o JADC2 será projetado para coordenar operações de combate entre forças americanas “convencionais” ou não nucleares. Eventualmente, no entanto, espera-se que se conecte com os sistemas nucleares de comando, controle e comunicação (NC3) do Pentágono, potencialmente dando aos computadores controle significativo sobre o uso do arsenal nuclear americano. “JADC2 e NC3 estão interligados”, indicou o general John E. Hyten, vice-presidente do Estado-Maior Conjunto, em uma entrevista em 2020. Como resultado, ele acrescentou em típico pentagonês, “NC3 tem que informar JADC2 e JADC2 tem que informar NC3”.
Não é preciso muita imaginação para perceber um momento em um futuro não muito distante em que algum tipo de crise – digamos, um confronto militar EUA-China no Mar da China Meridional ou perto de Taiwan – provoca combates cada vez mais intensos entre forças aéreas e navais opostas. Imagine então o JADC2 ordenando o intenso bombardeio de bases inimigas e sistemas de comando na própria China, desencadeando ataques recíprocos às instalações dos EUA e uma decisão relâmpago do JADC2 de retaliar com armas nucleares táticas, iniciando um holocausto nuclear há muito temido.
A possibilidade de cenários de pesadelo desse tipo resultarem no início acidental ou não intencional de uma guerra nuclear há muito incomoda os analistas da comunidade de controle de armas. Mas a crescente automação dos sistemas militares C2 gerou ansiedade não apenas entre eles, mas também entre os altos funcionários da segurança nacional.
Já em 2019, quando questionei o tenente-general Jack Shanahan, então diretor do Centro Conjunto de Inteligência Artificial do Pentágono, sobre uma possibilidade tão arriscada, ele respondeu: “Você não encontrará nenhum proponente mais forte da integração de recursos de IA em grande escala no Departamento de Defesa, mas há uma área em que paro e tem a ver com comando e controle nuclear”. Esta “é a decisão humana final que precisa ser tomada” e, portanto, “temos que ter muito cuidado”. Dada a “imaturidade” da tecnologia, acrescentou, precisamos de “muito tempo para testar e avaliar [antes de aplicar IA ao NC3]”.
Nos anos seguintes, apesar de tais advertências, o Pentágono tem avançado com o desenvolvimento de sistemas C2 automatizados. Em sua apresentação de orçamento para 2024, o Departamento de Defesa solicitou US$ 1,4 bilhão para o JADC2 a fim de “transformar a capacidade de combate, fornecendo vantagem de informações na velocidade da relevância em todos os domínios e parceiros”. Uh-oh! E então, solicitou outros US$ 1,8 bilhão para outros tipos de pesquisa de IA relacionada aos militares.
Funcionários do Pentágono reconhecem que levará algum tempo até que os generais robôs comandem um grande número de tropas americanas (e armas autônomas) em batalha, mas eles já lançaram vários projetos destinados a testar e aperfeiçoar exatamente essas ligações. Um exemplo é o Projeto Convergência do Exército, envolvendo uma série de exercícios de campo projetados para validar sistemas de componentes ABMS e JADC2.
Em um teste realizado em agosto de 2020 no Yuma Proving Ground, no Arizona, por exemplo, o Exército usou uma variedade de sensores aéreos e terrestres para rastrear forças inimigas simuladas e, em seguida, processar esses dados usando computadores habilitados para IA na Joint Base Lewis McChord no estado de Washington. Esses computadores, por sua vez, emitiam instruções de fogo para a artilharia terrestre em Yuma. “Toda essa sequência foi supostamente realizada em 20 segundos”, relatou posteriormente o Serviço de Pesquisa do Congresso .
Pouco se sabe sobre o equivalente de I.A. da Marinha, “Project Overmatch”, já que muitos aspectos de sua programação foram mantidos em segredo. De acordo com o almirante Michael Gilday, chefe de operações navais, o Overmatch destina-se a “permitir uma Marinha que enxameia o mar, fornecendo efeitos letais e não letais sincronizados de perto e de longe, todos os eixos e todos os domínios”. Pouco mais foi revelado sobre o projeto [Na saga “Terminator”, de James Camerom, a “Skynet” é desenvolvida na Marinha].
“Flash Wars” e a extinção humana
Apesar de todo o sigilo em torno desses projetos, você pode pensar em ABMS, JADC2, Convergence e Overmatch como blocos de construção para uma futura mega-rede de supercomputadores semelhante à Skynet projetada para comandar todas as forças dos EUA, incluindo as nucleares, em operações armadas. Quanto mais o Pentágono se move nessa direção, mais perto chegaremos de um momento em que a I.A. possuirá poder de vida ou morte sobre todos os soldados americanos, juntamente com as forças opostas e quaisquer civis pegos em meio ao fogo cruzado.
Tal perspectiva deveria ser um grande motivo de preocupação. Para começar, considere o risco de erros e erros de cálculo dos algoritmos no centro de tais sistemas. Como os principais cientistas da computação nos alertaram, esses algoritmos são capazes de cometer erros notavelmente inexplicáveis e, para usar o termo de IA do momento, de terem “alucinações” – ou seja, resultados aparentemente razoáveis que são totalmente ilusórios. Nessas circunstâncias, não é difícil imaginar esses computadores “alucinando” um ataque inimigo iminente e iniciando uma guerra que, de outra forma, poderia ter sido evitada.
E esse não é o pior dos perigos a considerar. Afinal, existe a probabilidade óbvia de que os adversários dos Estados Unidos também equiparão suas forças com generais robôs. Em outras palavras, é provável que as guerras futuras sejam travadas por um conjunto de sistemas de I.A. contra outro, um comunista e o outro “acordado”, ambos ligados a armamento nuclear, com resultados totalmente imprevisíveis – mas potencialmente catastróficos.
Não se sabe muito (pelo menos de fontes públicas) sobre os esforços russos e chineses para automatizar seus sistemas militares de comando e controle, mas acredita-se que ambos os países estejam desenvolvendo redes comparáveis ao JADC2 do Pentágono. Já em 2014, de fato, a Rússia inaugurou um Centro de Controle de Defesa Nacional (NDCC) em Moscou, um posto de comando centralizado para avaliar ameaças globais e iniciar qualquer ação militar considerada necessária, seja de natureza não nuclear ou nuclear. Como o JADC2, o NDCC é projetado para coletar informações sobre os movimentos do inimigo de várias fontes e fornecer aos oficiais superiores orientação sobre possíveis respostas.
Diz-se que a China está buscando um empreendimento ainda mais elaborado, embora semelhante, sob a rubrica de “Multi-Domain Precision Warfare” (MDPW). De acordo com o relatório de 2022 do Pentágono sobre os desenvolvimentos militares chineses, seus militares, o Exército de Libertação do Povo, estão sendo treinados e equipados para usar sensores habilitados para IA e redes de computadores para “identificar rapidamente as principais vulnerabilidades no sistema operacional dos EUA e, em seguida, combinar forças conjuntas em domínios para lançar ataques de precisão contra essas vulnerabilidades.”
Imagine, então, uma futura guerra entre os EUA e a Rússia ou China (ou ambos) em que o JADC2 comanda todas as forças dos EUA, enquanto o NDCC da Rússia e o MDPW da China comandam as forças desses países. Considere, também, que todos os três sistemas provavelmente apresentarão erros e alucinações. Quão seguros estarão os humanos quando os generais robôs decidirem que é hora de “vencer” a guerra bombardeando completa e definitivamente os seus inimigos?
Se isso lhe parece um cenário estranho, pense novamente, pelo menos de acordo com a liderança da Comissão de Segurança Nacional em Inteligência Artificial, uma empresa mandataria pelo Congresso presidida por Eric Schmidt, ex-chefe do Google, e Robert Work, ex-vice-secretário de defesa.
“Embora a Comissão acredite que sistemas de armas autônomos e habilitados para IA adequadamente projetados, testados e utilizados trarão benefícios militares substanciais e até mesmo humanitários, o uso global descontrolado de tais sistemas potencialmente corre o risco de escalada de conflito não intencional e instabilidade de crise”, afirmou .em seu Relatório Final.
Tais perigos podem surgir, afirmou, “por causa das complexidades desafiadoras e não testadas de interação entre sistemas de armas autônomos e habilitados para IA no campo de batalha” – quando, isto é, IA luta contra IA.
Embora isso possa parecer um cenário extremo, é inteiramente possível que sistemas de IA opostos possam desencadear uma “guerra instantânea” catastrófica – o equivalente militar de um “flash crash” em Wall Street, quando grandes transações por algoritmos comerciais supersofisticados provocam vendas de pânico antes que operadores humanos possam restaurar a ordem.
No infame “Flash Crash” de 6 de maio de 2010, as negociações por computador precipitaram uma queda de 10% no valor do mercado de ações. De acordo com Paul Scharre, do Center for a New American Security, que primeiro estudou o fenômeno, “o equivalente militar de tais crises” em Wall Street surgiria quando os sistemas de comando automatizados das forças opostas “ficassem presos em uma cascata de combates crescentes”. Em tal situação, observou ele, “armas autônomas podem levar à morte acidental e à destruição em escalas catastróficas em um instante”.
Atualmente, praticamente não existem medidas para evitar uma futura catástrofe desse tipo ou mesmo conversas entre as grandes potências para elaborar tais medidas. No entanto, como observou a Comissão de Segurança Nacional sobre Inteligência Artificial, essas medidas de controle de crise são necessárias com urgência para integrar “fios de disparo de escalada automatizada” em tais sistemas “que impediriam a escalada automatizada de um conflito”.
Caso contrário, alguma versão catastrófica da Terceira Guerra Mundial parece muito possível. Dada a perigosa imaturidade de tal tecnologia e a relutância de Pequim, Moscou e Washington em impor qualquer restrição ao armamento da IA, o dia em que as máquinas se unirem e escolherem nos aniquilar pode chegar muito mais cedo do que imaginamos e a extinção da humanidade pode ser o dano colateral de uma guerra futura.
