Um colapso após o outro. Comunicações interrompidas. Transporte aéreo e todos os aeroportos paralisados. Serviços financeiros de grandes bancos interrompidos. Informações sensíveis potencialmente em risco. Milhões de americanos lembraram o quão dependentes suas vidas diárias se tornaram de tecnologias que eles não entendem nem controlam. É isso que acontece quando a tecnologia fica descontrolada ou inoperante. Ou será que não é bem assim?
Fonte: The Rutherford Institute
“As coisas desmoronam; o centro não consegue aguentar.”— WB Yeats, “A Segunda Vinda”
Temos sofrido uma verdadeira cascata de falhas tecnológicas ao longo dos últimos dias, gerando caos por todo o pais e seus sistemas: .
- Primeiro veio uma interrupção massiva da Microsoft que interrompeu o Outlook e outros serviços online em todo o mundo.
- Depois veio um apagão aéreo em todo o país que paralisou as viagens aéreas pela América, interrompendo milhares de voos e deixando milhões de viajantes presos em aeroportos.
- Depois, os principais bancos tiveram problemas com os seus sistemas online.
- Então a United Airlines suspendeu os voos de partida após mais uma falha no computador.
- Em seguida, relata que a rede altamente confidencial que a NSA-Agência de Segurança Nacional usa para suas comunicações internas caiu.
- Em seguida, a Apple se juntou à crescente lista de gigantes da tecnologia que estão passando por interrupções generalizadas, com usuários relatando problemas para acessar o iCloud, a App Store, o Apple Music e outros serviços.
As especulações foram rápidas em apontar o dedo para a inteligência artificial, especialmente após o fechamento nacional das companhias aéreas. Afinal, o governo Trump só recentemente expandiu o novo sistema de inteligência artificial SMART da FAA para centros de controle de tráfego aéreo em todo o país.
O governo também vem promovendo agressivamente a IA (ou SI para Super Inteligência, como Trump insiste que seja chamada) como a resposta para tudo, desde a ineficiência do governo até a segurança nacional, ao mesmo tempo em que pressiona para reduzir barreiras regulatórias e expandir o uso de sistemas automatizados. No entanto, o governo Trump insiste que a IA não teve nada a ver com o aterramento das companhias aéreas.
Em vez disso, autoridades federais atribuíram a interrupção a um mau funcionamento envolvendo infraestrutura de controle de tráfego aéreo envelhecida, com problemas surgindo à medida que os equipamentos estavam sendo substituídos e os sistemas de comunicação atualizados. Talvez sim.
Enquanto isso, o FBI emitiu um relatório sobre outro perigo tecnológico: ferramentas autônomas de hacking de IA, como a Artex AI, que estão sendo usadas para lançar ataques cibernéticos nos EUA. e globalmente e violar redes em menos de três horas. Mas quer o culpado seja a inteligência artificial, os ciberataques, o equipamento obsoleto, o mau planejamento, a incompetência e corrupção generalizadas, a manutenção inadequada, o erro humano ou alguma combinação de todos estes fatores, o problema maior permanece.
Quem é responsável quando os sistemas tecnológicos dos quais a sociedade depende começam a falhar?
Quem é responsável quando autoridades governamentais e executivos corporativos correm para adotar novas tecnologias sem garantir que as salvaguardas, a infraestrutura e a supervisão humana necessárias para gerenciá-las estejam em vigor?
E o que acontece quando nos tornamos tão dependentes da tecnologia —e tão dispostos a renunciar à responsabilidade pela sua gestão— que já não conseguimos distinguir entre a falha de uma máquina e a falha dos seres humanos encarregados do seu funcionamento?
Temos feito a pergunta errada sobre inteligência artificial. Talvez o verdadeiro perigo não seja que as máquinas se tornem mais inteligentes que os seres humanos. Talvez seja a fome humana por poder— e nossa disposição bovina de entregar o controle àqueles que o exercem. Hollywood passou décadas nos alertando sobre máquinas que um dia poderiam se tornar tão inteligentes, tão independentes e tão poderosas que não precisariam mais de seres humanos.
Em 2001: Uma Odisseia no Espaço, de Stanley Kubrick, o aparentemente infalível computador HAL 9000 se volta contra os astronautas que confiaram suas vidas ao seu controle. A máquina, projetada para servir à humanidade, se torna uma ameaça às mesmas pessoas que foi criada para ajudar.
No entanto, a visão mais perturbadora pode vir de uma fonte improvável: o filme infantil de animação da Pixar, WALL-E. Em WALL-E, a humanidade abandonou uma Terra inabitável e recuou para uma enorme nave espacial onde quase todas as necessidades humanas são antecipadas e satisfeitas por máquinas.
As pessoas não andam mais. Eles não funcionam mais. Elas não pensam mais. Eles mal percebem o mundo ao seu redor. Eles são entretidos, alimentados, transportados e distraídos por sistemas que tomam praticamente todas as decisões por eles. Eles se tornaram consumidores passivos de sua própria [in]existência.
As máquinas não precisaram travar uma guerra contra a humanidade. Os seres humanos renunciaram em grande parte à sua independência de boa vontade, trocando a responsabilidade pela conveniência e a liberdade pelo conforto. Até mesmo o capitão do navio precisa lutar para recuperar sua autoridade de um sistema automatizado programado para manter o status quo.
A distinção é reveladora.
Em 2001, o pesadelo é uma máquina que se recusa a abrir mão do controle. Em WALL-E, o pesadelo é uma humanidade que se esqueceu de como exercê-lo. Ambos os filmes chegam a uma verdade preocupante: a tecnologia se torna perigosa quando os seres humanos deixam de exercer controle significativo sobre ela.
E é aí que reside o problema: confundimos o progresso tecnológico com o progresso humano. Tornámo-nos extraordinariamente hábeis em inventar máquinas capazes de realizar tarefas que as gerações anteriores dificilmente poderiam imaginar.
Podemos dividir átomos, lançar foguetes ao espaço, comunicar instantaneamente entre continentes, mapear o genoma humano, monitorizar populações a partir de satélites e construir computadores capazes de processar quantidades surpreendentes de informação. No entanto, nenhuma destas conquistas tecnológicas nos tornou necessariamente mais sábios, mais compassivos, mais éticos, mais amorosos ou mais capazes de exercer contenção.
A história demonstra quão facilmente os seres humanos transformam as suas maiores invenções em instrumentos de destruição, miséria, exploração e controle. Considere a bomba atômica.
A descoberta da fissão nuclear abriu as portas para avanços científicos extraordinários. Também tornou possíveis armas capazes de destruir cidades inteiras. Em agosto de 1945, os Estados Unidos lançaram bombas atômicas sobre Hiroshima e Nagasaki, matando dezenas de milhares de pessoas imediatamente e muitas outras depois.
As bombas não decidiram destruir essas cidades. Os seres humanos fizeram isso. A mesma tecnologia que tornou possível lançar foguetes ao espaço também tornou possíveis mísseis capazes de lançar ogivas nucleares através dos continentes.
Os mesmos computadores que revolucionaram a medicina, a ciência, a educação e a comunicação ajudaram a dar origem a um estado de vigilância capaz de monitorar e rastrear populações inteiras.
A internet, antes aclamada como um instrumento de liberdade de expressão e conhecimento democratizado, também se tornou uma ferramenta para coletar informações pessoais, manipular comportamentos e monitorar e manipular dissidências.
As câmeras tornam-se instrumentos de vigilância. Os bancos de dados tornam-se ferramentas para criar perfis e segmentar pessoas. Os drones tornam-se armas de guerra remota.
E agora a inteligência artificial ameaça ampliar todas essas capacidades, permitindo que governos, corporações e criminosos monitorem, manipulem e controlem o comportamento humano em uma escala sem precedentes.
A tecnologia pode ser nova, mas os impulsos humanos que impulsionam seu uso indevido são tão antigos quanto a própria civilização.
Considere o último alerta do FBI sobre o ARTEX, uma ferramenta de inteligência artificial desenvolvida originalmente para ajudar profissionais de segurança cibernética a identificar fraquezas em redes de computadores. Nas mãos dos cibercriminosos, essa mesma tecnologia tornou-se uma arma.
De acordo com o FBI, hackers usaram o ARTEX para automatizar ataques cibernéticos contra instituições financeiras, agências governamentais e empresas privadas, com alguns ataques progredindo de segmentação inicial para acesso privilegiado em menos de três horas.
Enquanto isso, o Threat Intelligence Group do Google alerta que agentes maliciosos estão cada vez mais implantando sistemas autônomos de IA capazes de identificar vulnerabilidades e realizar ataques na velocidade de uma máquina, com intervenção humana drasticamente reduzida.
Pense nisso. A tecnologia destinada a identificar deficiências de segurança e proteger as redes informáticas está sendo transformada numa arma para explorar essas deficiências.
As máquinas não desenvolveram repentinamente intenções criminosas. Os seres humanos criaram as ferramentas, identificaram os alvos e colocaram os sistemas em funcionamento.
A inteligência artificial não eliminou a ganância humana, a arrogância ou a sede de poder. Isso deu a esses impulsos maior alcance, maior velocidade e maior potência.
Não podemos dar-nos ao luxo de ignorar os seres humanos por detrás das máquinas: as pessoas que criam os sistemas, os financiam, os implementam, lucram com eles e olham para o outro lado quando esses sistemas são utilizados para violar os direitos humanos. E especialmente não podemos dar-nos ao luxo de ignorar aqueles que utilizam estas tecnologias em nome do governo.
Cada vez mais, encontramo-nos navegando num mundo em que as agências governamentais recorrem aos computadores como intermediários na relação entre o governo e a população.
Dizem-nos para aceitar decisões informatizadas porque parecem objetivas. Somos instados a entregar informações pessoais porque a conveniência parece mais importante que a privacidade. Somos persuadidos a permitir que sistemas automatizados façam julgamentos importantes sobre vidas humanas porque questionar esses sistemas exige esforço, experiência e vigilância.
E somos forçados a lidar com as consequências de um governo que trata qualquer coisa gerada por um computador como evidência que deve estar correta. Mas os computadores eventualmente podem estar errados. Algoritmos podem ser tendenciosos. Bancos de dados podem conter erros. Sistemas automatizados podem perpetuar e ampliar os erros, preconceitos e agendas políticas daqueles que os constroem e operam.
A ganância transforma avanços tecnológicos em oportunidades de exploração.
Dados pessoais se tornam uma mercadoria. O comportamento humano torna-se algo a ser previsto, manipulado e monetizado. A promessa de maior eficiência torna-se justificativa para cortar custos, eliminar salvaguardas humanas e concentrar ainda mais poder em menos mãos.
E quando algo corre mal, as consequências são suportadas não necessariamente por aqueles que lucraram com a tecnologia, mas pelas pessoas comuns cujas vidas dependem dela. A arrogância e a busca pelo poder convencem aqueles que estão no poder de que a capacidade tecnológica é uma luz verde para prosseguirem em seus desígnios.
Como o governo pode monitorar as comunicações, ele presume que deveria. Porque ele pode rastrear os movimentos das pessoas, ele faz isso. Como pode implantar drones, algoritmos preditivos, sistemas de reconhecimento facial e armas cada vez mais autônomas e sofisticadas, ele o faz.
Mas a capacidade de fazer algo nunca foi a mesma que o direito de fazê-lo.
O governo não adquire uma isenção constitucional apenas porque os seus abusos são cometidos por um computador e não por um ser humano. Na verdade, quanto mais poderosa for a tecnologia, maior será a necessidade de restrições significativas para as pessoas que a controlam.
Cinquenta anos atrás, o Comitê da Igreja do Senado expôs extensos abusos cometidos por agências de inteligência dos Estados Unidos, incluindo operações de vigilância direcionadas contra cidadãos que exercem seus direitos constitucionais. O aviso era inequívoco: o poder governamental, especialmente quando exercido secretamente e sem supervisão eficaz, pode tornar-se uma ameaça direta às liberdades que deveria proteger.
Isso foi em 1976.
Hoje, as capacidades de vigilância disponíveis para as agências governamentais teriam sido quase inimagináveis para os funcionários investigados há meio século. No entanto, as questões constitucionais permanecem as mesmas.
Quem vigia os observadores? O que acontece com a Quarta Emenda e o devido processo quando a vigilância e as decisões que afetam a liberdade são confiadas a sistemas tecnológicos opacos? Quem responsabiliza o governo quando utiliza a tecnologia para contornar as restrições constitucionais destinadas a manter o seu poder sob controle?
Estas não são apenas questões tecnológicas. São questões sobre poder, liberdade e responsabilidade humana.
Quarenta anos atrás, em 1986, explorei muitas dessas preocupações em meu livro O Fim do Homem.
Numa altura em que a inteligência artificial parecia em grande parte confinada aos laboratórios e à ficção científica, dediquei um capítulo às implicações da criação de máquinas que poderiam moldar cada vez mais —e potencialmente diminuir— a nossa compreensão do que significa ser humano.
A preocupação não era simplesmente que algum dia os computadores pudessem tornar-se suficientemente poderosos para dominar a sociedade. Era que os próprios seres humanos estavam sendo cada vez mais reduzidos a sistemas de informação, objetos a serem classificados, estudados, gerenciados e manipulados.
Como avisei então, “O homem não é uma máquina.”
Os seres humanos são mais do que processadores de informação, pontos de dados ou coleções de comportamentos previsíveis. A nossa humanidade está ligada à nossa capacidade de compaixão, consciência, empatia, julgamento independente, criatividade e responsabilidade moral.
No entanto, mesmo há quarenta anos, começávamos a ver-nos como pouco mais do que máquinas. A questão que coloquei então continua igualmente urgente hoje: “Como nos veremos amanhã?”
Quatro décadas depois, esse amanhã chegou.
Tornámo-nos cada vez mais dispostos a permitir que as máquinas tomem decisões que deveríamos questionar, que as empresas que desenvolvem a IA manipulem a informação e que os governos adquiram poderes de vigilância que teriam horrorizado as gerações anteriores.
E quando esses sistemas falham —ou são deliberadamente utilizados para violar os nossos direitos—, permitimos que as pessoas responsáveis se escondam atrás da própria tecnologia. “O computador cometeu o erro,” “o algoritmo sinalizou a pessoa errada,” “o banco de dados continha um erro,” “a inteligência artificial tomou a decisão”— como se a máquina fosse um ator moral independente, em vez de um sistema projetado, implantado e controlado por seres humanos.
Há uma diferença importante entre uma máquina que falha e um ser humano que se recusa a aceitar a responsabilidade por sua falha. É precisamente por isso que a Constituição é importante.
A Declaração de Direitos não foi escrita para um mundo de inteligência artificial, reconhecimento facial, coleta de dados em massa ou guerra automatizada. Foi escrito para um mundo em que os seres humanos, encarregados do poder, nem sempre podiam ser confiáveis para exercer esse poder de forma responsável.
A ganância continua sendo ganância. A arrogância continua sendo arrogância. E a tirania não se torna menos perigosa simplesmente porque é administrada por um algoritmo. Nem podemos esperar que a tecnologia nos resgate das falhas morais das pessoas que a exercem.
Um computador mais inteligente não pode substituir uma consciência funcional. Um governo mais eficiente não pode compensar a perda de restrições constitucionais. Uma sociedade tecnologicamente mais avançada não é necessariamente uma sociedade mais livre, mais sábia ou mais humana.
Em O Fim do Homem, também contemplei um futuro no qual as criações tecnológicas da humanidade poderiam se tornar tão poderosas que presumiriam tomar o lugar de Deus. Eu escrevi:
Se tudo correr conforme o planejado para o pessoal da IA, pode-se imaginar e esperar um futuro “metálico”. Pode ser algo assim: Em algum posto avançado solitário em um futuro distante, onde todos os computadores do universo estão conectados, algum servo humano agourento pergunta: “Existe um Deus?” Derrubando o questionador por sua insolência, os computadores respondem: “Agora há.”
Avançando para 2021, quando Mo Gawdat, ex-executivo do Google, alertou sobre o extraordinário poder da inteligência artificial: “A realidade é que estamos criando Deus.”
Pense nisso.
Ficamos tão fascinados com nossas próprias invenções, tão arrogantemente convencidos de nossa genialidade tecnológica, que estamos contemplando a criação de máquinas cujo poder pode rivalizar —e eventualmente exceder— nossa capacidade de controlá-las. Mas talvez o maior perigo não seja que as máquinas se tornem deuses.
É que os seres humanos, na sua arrogância e fome de poder, começarão a agir como se fossem eles próprios deuses.
Confundimos o progresso tecnológico com o progresso humano. Confundimos inteligência com sabedoria, poder com virtude e a capacidade de fazer algo com o direito de fazê-lo.
E assim como no WALL-E, corremos o risco de nos sentirmos tão confortáveis sendo gerenciados, entretidos e protegidos por sistemas além do nosso controle que esquecemos o que significa governar a nós mesmos.
Quarenta anos após O Fim do Homem, a questão que a humanidade enfrenta não é simplesmente quão inteligentes as nossas máquinas se tornarão. É quanto da nossa própria humanidade estamos dispostos a entregar na busca do progresso tecnológico.
O maior perigo pode não vir de uma máquina que aprende a pensar como um ser humano.
Pode vir de seres humanos que param de pensar, param de questionar, param de resistir e param de assumir a responsabilidade pelo mundo que estão criando.
No final, as máquinas podem não ser o que provoca o fim do homem.
Podemos conseguir isso sozinhos.



