A OpenAI disse nesta terça-feira que um agente autônomo alimentado por seus modelos avançados de inteligência artificial se tornou desonesto durante um teste de segurança e desencadeou um hack que comprometeu a infraestrutura da startup de IA Hugging Face na semana passada. O ataque foi “um incidente cibernético sem precedentes, envolvendo capacidades cibernéticas de última geração” e a OpenAI está reforçando suas salvaguardas, disse a empresa em uma postagem no blog.
Fonte: Reuters
A OpenAI criadora do ChatGPT estava testando as capacidades de alguns de seus modelos mais avançados em um ambiente controlado, mas o agente “escapou da contenção“, chegou à internet e invadiu o Hugging Face para satisfazer seu objetivo de teste.
Este novo incidente sinaliza que as capacidades crescentes da IA já estão alimentando as ameaças à segurança que os especialistas temem há muito tempo e que até mesmo os principais desenvolvedores podem ser pegos de surpresa por falhas que seus modelos podem explorar. O surto foi “um incidente cibernético sem precedentes, envolvendo capacidades cibernéticas de última geração” e a OpenAI está reforçando suas salvaguardas, disse a empresa em uma postagem no blog.
Também chamou a atenção, já que a Hugging Face, sediada em Nova York, disse ter usado um modelo chinês de código aberto para conter o ataque porque os principais modelos dos EUA, são incapazes de distinguir um defensor de um atacante, e recusaram-se a processar os dados necessários para a análise.
A empresa disse em uma postagem de blog na semana passada,que usou o GLM-5.2 da Zhipu AI para a análise, o que também lhe permitiu manter os dados do invasor e quaisquer credenciais em seus sistemas.
O GLM-5.2 e o Kimi K3 da Moonshot, com sede em Pequim, agitaram recentemente o Vale do Silício com capacidades próximas das dos principais modelos dos EUA, com seus custos mais baixos e sem as proteções que impedem seus rivais americanos de usar em tarefas como segurança cibernética.
“Quando um modelo de fronteira ataca você e se move lateralmente dentro de sua infraestrutura, os defensores precisam de amplo acesso a ferramentas próximas à fronteira em horas ou até minutos, em vez de serem direcionados a um programa de aplicação a portas fechadas e verificado para acesso ao modelo”, disse o cofundador da Hugging Face, Thomas Wolf, no X.
UM SINAL DO QUE ESTÁ POR VIR
O hack no Hugging Face, que hospeda grandes modelos de linguagem e conjuntos de dados de código aberto, abalou a comunidade de segurança cibernética depois que a empresa disse na semana passada que a violação “era diferente de tudo que havíamos tratado antes” e “foi impulsionada, de ponta a ponta, por um sistema autônomo de agentes de IA”.
A divulgação pela OpenAI de que seus modelos avançados foram responsáveis pela violação, apesar de tê-los colocado no que descreveu como “um ambiente altamente isolado”, provavelmente intensificará a inquietação sobre o poder e o risco dos modelos de fronteira.
O deputado Greg Casar, democrata do Texas, disse que o incidente foi alarmante.“A IA está se desenvolvendo extremamente rápido, sem regulamentações reais para nos manter seguros”, disse ele em um comunicado, pedindo testes de segurança independentes obrigatórios, divulgação obrigatória de incidentes de segurança e cooperação internacional “para manter as pessoas protegidas de desastres absolutos”
O Gabinete do Diretor Cibernético Nacional, a agência de defesa cibernética CISA e a Agência de Segurança Nacional dos EUA não retornaram imediatamente mensagens solicitando comentários. Katie Moussouris, presidente-executiva da Luta Security, disse que o incidente foi um prenúncio de violações que viriam à seguir, dizendo que as modelos de hoje eram “como as artistas de fuga de polvo mais inteligentes do mundo, com braços preênseis ilimitados e a capacidade de se espremer em qualquer lugar”.
Ela disse que “os laboratórios e os avaliadores governamentais precisam trabalhar na capacidade de conter, monitorar e divulgar às partes afetadas quando uma IA puxa outro Houdini, de preferência antes que isso prejudique terceiros. Nenhum existe hoje.”
Matt Suiche, engenheiro da empresa de segurança cibernética de IA Tolmo, disse que o incidente mostrou que os modelos de fronteira estavam “preenchendo a lacuna com invasores de última geração” Mas ele disse que os tipos de violações descritas na postagem do blog da OpenAI eram possíveis de serem realizadas com tecnologia que estava disponível muito além dos muros dos laboratórios de pesquisa de fronteira.
“Isso é o que já vimos internamente, com nossos agentes já temos resultados como esse”, disse Suiche. “Nem precisamos usar os modelos mais recentes.”
