A Anthropic está propondo que as principais empresas de inteligência artificial do mundo criem uma maneira coordenada de interromper o desenvolvimento de sistemas avançados de IA, alertando que a tecnologia está melhorando tão rapidamente que há o risco de os seres humanos perderem o controle sobre a mesma.
Fonte: AlJazeera.com
A Anthropic, criadora da IA Claude e a IA Claude Mythos, alertou que os rápidos avanços na tecnologia poderão em breve permitir que os sistemas de IA se melhorem mais rapidamente do que a sociedade pode controlar os riscos.
A empresa por trás do chatbot Claude disse em uma postagem de blog na quinta-feira que, à medida que a IA de ponta se torna cada vez mais rápida na execução de tarefas, “seria bom para o mundo ter a opção de desacelerar ou pausar temporariamente” seu desenvolvimento.
A Anthropic disse que seu instituto de pesquisa interno planeja explorar o problema em colaboração com outros e “tomar medidas” para ajudar a construir sistemas para uma desaceleração ou pausa confiável, sem ser mais específico.
A rival da Anthropic, a OpenAI defendeu uma abordagem diferente num relatório publicado na quarta-feira, dizendo que “os governos democráticos — e não as empresas privadas que agem sozinhas — devem, em última análise, determinar as regras, salvaguardas e mecanismos de responsabilização”.
“Nossa opinião é que as decisões sobre o ritmo da inovação em IA não devem ser deixadas para nenhum laboratório, empresa ou grupo de interesse especial”, afirmou.
Os modelos de IA estão ficando mais rápidos, com aumentos rápidos na rapidez com que podem realizar tarefas de software, como codificação, por conta própria, disse a Anthropic em sua postagem. Com base nas tendências atuais e com poder computacional suficiente, um sistema de IA poderia projetar e desenvolver seu próprio sucessor, no que é conhecido como “autoaperfeiçoamento recursivo”.
A autoconstrução da IA seria um marco tecnológico importante que traria benefícios na ciência, na saúde e em outras áreas, disse a Anthropic, mas “também pode aumentar os riscos de os humanos perderem o controle sobre os sistemas de IA”. Algumas figuras da indústria de tecnologia há muito alertam sobre tal cenário.
A postagem da Anthropic foi publicada após um alerta diferente desta semana de uma equipe de pesquisadores da Universidade de Toronto que mostrou como ferramentas de IA podem ser usadas para criar um novo tipo de IA “worm” que adapta sua estratégia de hacking à medida que se espalha de dispositivo para dispositivo e assume o controle de uma vasta rede de computação.
“Acho que é muito importante que as pessoas entendam que não são apenas os maiores e mais poderosos modelos de linguagem que representam as preocupações de segurança”, disse o pesquisador principal Nicolas Papernot em uma entrevista.
Os autores da postagem antrópica, o cofundador da empresa, Jack Clark, e Marina Favaro, chefe do instituto de pesquisa, disseram que a pausa seria usada para permitir que “as estruturas sociais e a pesquisa de alinhamento” acompanhassem os avanços da IA. O alinhamento é uma abreviação da indústria para garantir que a tecnologia corresponda aos valores e intenções humanas.
A coordenação proposta permitiria que laboratórios avançados de IA verificassem que rivais globais realmente interromperam ou desaceleraram seu trabalho “e que um mau ator não poderia usar os auspícios de uma desaceleração coordenada para avançar em segredo”.
A empresa disse que um mecanismo global coordenado é necessário porque, sem ele, uma desaceleração no desenvolvimento de IA poderia permitir que os participantes “menos cautelosos” o alcançassem e aumentar a pressão sobre empresas e governos enquanto eles fazem escolhas difíceis sobre a segurança da IA.
Os receios de que os sistemas avançados de IA possam sair do controle humano e causar danos sociais aumentaram à medida que a tecnologia se torna cada vez mais capaz. O próprio modelo Claude Mythos da Anthropic causou impacto em setores como bancos e software no início deste ano com sua capacidade de encontrar vulnerabilidades em códigos existentes.
Mas a regulamentação tem sido lenta, especialmente nos EUA, onde está sediada a maioria dos principais laboratórios de IA. Uma ordem executiva da administração Trump no início desta semana colocou o ónus sobre os próprios laboratórios, pedindo-lhes que apresentassem voluntariamente os seus modelos mais capazes para testes governamentais de segurança cibernética antes do lançamento público.
Foco na segurança
Pesquisadores de IA também pediram uma pausa antes, mas tiveram pouco sucesso. Elon Musk, dono do laboratório de IA xAI, estava entre os apoiadores de uma iniciativa de 2023 do Future of Life Institute, uma organização sem fins lucrativos, para interromper o desenvolvimento de IA por seis meses para dar tempo às proteções de segurança.
A Anthropic há muito se posiciona como um laboratório de IA focado em segurança. No início deste ano, recusou-se a permitir que os militares dos EUA utilizassem os seus modelos para vigilância interna e armas totalmente autônomas, provocando uma reação negativa por parte do governo, que o colocou numa situação difícil e numa lista negra de segurança nacional, previsto para entrar em vigor no final de 2026.
A postagem da Anthropic ocorre no momento em que a empresa e a OpenAI, fabricante do ChatGPT, correm para vender ações no mercado de ações, em um IPO isso poderia avaliar a Anthropic em quase um trilhão de dólares.
Papernot notificou as autoridades canadenses de segurança cibernética antes de divulgar seu relatório, que mostra como os pesquisadores desenvolveram o worm em um laboratório usando uma ferramenta de IA “de código aberto” que é fácil para os desenvolvedores de software acessarem e modificarem de forma barata.
“No passado, os atacantes cibernéticos se concentravam em alvos de valor muito alto”, disse ele. “Sistemas bancários, hospitais, redes elétricas, sistemas de tratamento de água, escolas.”
Papernot concordou que deveria haver mais colaboração entre empresas, agências governamentais e pesquisadores acadêmicos para desenvolver contramedidas à medida que ferramentas de hacking alimentadas por IA potencializam a busca por vulnerabilidades de computador.
“Aquele laptop antigo que você tem no porão e que não verifica regularmente não parece ser um alvo de alto valor, mas pode ser usado como plataforma de lançamento para atacar esses alvos de maior valor”, disse ele. “Qualquer coisa conectada à internet agora está em risco devido ao baixo custo para montar esses ataques cibernéticos.”
