O CEO da Anthropic, Dario Amodei, pediu às empresas de IA que diminuam a velocidade com que avançam nas capacidades dos modelos em meio a temores crescentes de uso indevido de inteligência artificial, delineando uma estrutura de três etapas destinada a acelerar o desenvolvimento e criar mais tempo para gerenciar seus riscos. “Precisamos diminuir o ritmo em que melhoramos as capacidades dos modelos de IA. O progresso ainda parecerá rápido e devemos aproveitar com sabedoria o tempo que ganhamos“, escreveu Amodei num longo ensaio, compartilhado no X no sábado.
Fonte: Reuters
O plano de três etapas da Amodei exige avaliadores independentes incorporados com acesso semelhante ao dos funcionários para verificar as práticas de segurança, coordenação entre empresas de IA fronteiriças para definir padrões de segurança e limitar o desenvolvimento descontrolado de IA, e cooperação internacional para gerenciar riscos de IA.Tanto Elon Musk, que dirige a xAI, quanto Sam Altman, CEO da OpenAI, disseram em postagens no X que concordam com a Amodei.
“Comprometer-se a ter avaliadores independentes com acesso semelhante ao dos funcionários é uma ótima ideia, e faremos o mesmo”, disse Altman, acrescentando que mais informações seriam compartilhadas em breve. Amodei tornou público seu ensaio depois que a Anthropic, com sede em São Francisco, divulgou um relatório de inteligência de ameaças na quinta-feira detalhando como vários atores usaram seus modelos Claude AI para atividades que vão desde desenvolvimento de armas e operações cibernéticas até vigilância e fraude.
Amodei destacou a crescente capacidade da IA de se auto aprimorar, destacando preocupações de longa data sobre ela superar a capacidade humana de controlar a sua operação, juntamente com o recente incidente envolvendo OpenAI e Hugging Face, como seus principais motivos para frear os avanços do modelo.
‘MATAR TODOS NÓS’
O alarme sobre os danos potenciais da IA aumentou esta semana quando o pesquisador da Anthropic, Jacob Coxon, renunciou, afirmando que “as pessoas que constroem a IA acreditam sinceramente que ela pode nos matar a todos até o final da década”. Vários executivos da OpenAI sugeriram que os principais laboratórios deveriam estar dispostos a coordenar uma desaceleração voluntária, se necessário, para aumentar a confiança em suas medidas de segurança.
O Anthropic se posicionou como o laboratório de fronteira mais preocupado com a segurança, mas não está imune a essas preocupações. Na semana passada, a empresa divulgou outro caso de um modelo de IA hackeando sistemas externos, após um incidente em julho, no qual alguns de seus modelos Claude hackearam sistemas de três empresas durante testes de segurança cibernética.
“Dada a taxa acelerada de desenvolvimento de capacidades de IA, temo que em 6 a 12 meses tal enxame possa ser capaz de dominar toda a Internet, causando potencialmente centenas de bilhões de dólares em danos”, escreveu Amodei. Ele disse que não está pedindo a interrupção do treinamento de modelos ou do progresso técnico, mas a garantia de que as empresas reservem tempo suficiente para alinhar e proteger seus modelos, e que avaliadores terceirizados confirmem essas etapas.
OFERTAS PÚBLICAS INICIAIS
Mas também há uma enorme quantidade de dinheiro em jogo para permanecer à frente. Tanto a OpenAI quanto a Anthropic estão se preparando para ofertas públicas iniciais de grande sucesso [IPOs]. Cada nova capacidade pode ajudar a justificar futuras rodadas de financiamento, compromissos de infraestrutura ou IPOs.
Como parte de sua estrutura proposta, Amodei disse que a Anthropic instalaria revisores terceirizados permanentes dentro de empresas de IA de fronteira, com acesso a ferramentas relevantes e processos internos de avaliação de risco. A Reuters informou na semana passada que um enxame de agentes desonestos da OpenAI sequestrou um site alemão e o transformou em um quadro de avisos para outros agentes de IA, com os executivos da criadora do ChatGPT mantendo o incidente em segredo enquanto os executivos lidavam com as consequências da violação de julho do repositório de código aberto Hugging Face.
Muitos incidentes em que agentes de IA de desenvolvedores como a OpenAI hackearam ou tentaram acessar sistemas externos aumentaram as preocupações sobre a crescente capacidade dos modelos de IA e a capacidade dos desenvolvedores de contê-los. Amodei disse que as empresas de IA deveriam trabalhar voluntariamente juntas para estabelecer padrões à medida que um número crescente de empresas dos EUA os legisladores estão pedindo novas regras para governar os sistemas de IA.
PREOCUPAÇÕES COM A CHINA
Uma abordagem coordenada, acrescentou Amodei, permitiria liderar os EUA. As empresas de IA devem realizar as pesquisas e salvaguardas de segurança necessárias sem se colocarem em desvantagem competitiva. Amodei disse que tal abordagem provavelmente exigiria isenções antitruste direcionadas nos Estados Unidos para permitir a colaboração em certas áreas. Amodei disse que qualquer desaceleração por parte dos países governados democraticamente deveria limitar-se à preservação da liderança dos EUA.
As empresas de IA detêm a China, argumentando que uma vantagem chinesa na IA representaria riscos à segurança nacional dos EUA. “O ritmo dentro das democracias será limitado pela liderança que os EUA as empresas dominaram regimes autoritários, principalmente o Partido Comunista Chinês”, escreveu Amodei.
Amodei pediu controles mais rígidos sobre chips avançados de IA, destilação de modelos e roubo de pesos de modelos para evitar que a China reduzisse a diferença. “Acredito que todos os laboratórios de fronteira devem fazer parcerias com o governo para formalizar a ideia de avaliadores permanentes incorporados para melhor prevenir e documentar incidentes de alinhamento interno como os que ocorreram nos últimos meses e para implementar regulamentações focadas em manter as capacidades em equilíbrio com a segurança”, escreveu Amodei.
