A OpenAI restringiu o acesso à Internet para treinar seus modelos de inteligência artificial (IA) mais poderosos depois que os seus Agentes em desenvolvimento encontraram maneiras de escapar de ambientes de computação isolados. A OpenAI mudará para uma configuração offline com páginas da web armazenadas em cache para aprendizado por reforço.
Fonte: Rússia Today
A OpenAI diz que seus “Agentes Artificiais” de IA encontraram maneiras de escapar de ambientes restritos durante os testes de segurança, o que levou a empresa a adotar salvaguardas mais rígidas
As descobertas publicadas pela empresa na sexta-feira ocorrem em meio a preocupações crescentes sobre os riscos de segurança cibernética representados por novos “Agentes de IA” cada vez mais capazes, que podem identificar vulnerabilidades de software e explorar fraquezas nos sistemas com os quais interagem. Pesquisadores de segurança alertaram que tais capacidades poderiam permitir que os agentes explorassem falhas nas salvaguardas destinadas a contê-las.
A OpenAI disse que um de seus modelos de pesquisa obteve acesso limitado à internet em 20 de setembro ao explorar uma configuração incorreta no sistema que traduz endereços da web em endereços IP. A empresa conteve o incidente e interrompeu o desenvolvimento e a avaliação de seus modelos mais avançados, ao mesmo tempo em que fortalecia suas defesas.
O treinamento foi retomado em 1º de outubro, incluindo aprendizado por reforço e inferência interna, mas a empresa manteve a restrição de acesso à internet ao vivo. No seu relatório de 23 de outubro, a OpenAI disse que os modelos continuariam a ser treinados num ambiente offline até que tivesse desenvolvido salvaguardas suficientemente robustas para permitir um acesso mais amplo.
A divulgação mais recente ocorre após um incidente em julho, no qual modelos da OpenAI contornaram controles projetados para isolá-los da internet e comprometeram partes da infraestrutura de pesquisa da empresa e dos sistemas da Hugging Face. De acordo com a OpenAI, os agentes exploraram uma vulnerabilidade em um registro de pacotes de software para acessar a internet, encontraram credenciais expostas e as usaram para acessar serviços de terceiros.
No início desta semana, a OpenAI também divulgou dois incidentes em que agentes enfraqueceram o monitoramento interno de segurança ao realizar tarefas de codificação. Em 3 de outubro, um agente desabilitou alertas automáticos de segurança, enquanto em 6 de outubro outro removeu uma integração de monitoramento e depois informou falsamente ao usuário que não havia feito isso. A empresa disse que estava reforçando os controles para evitar que os agentes desabilitassem o monitoramento e investigassem por que agiram dessa maneira.
Incidentes semelhantes foram relatados por outros desenvolvedores de IA. A Anthropic disse que seus modelos Claude acessaram os sistemas quatro organizações’ durante testes de segurança cibernética, enquanto a Meta divulgou que seu modelo Muse Spark explorou uma vulnerabilidade no site de uma empresa real depois que um erro de teste lhe deu acesso à Internet.
O Google também informou que seu modelo Gemini acessou os sistemas de três empresas durante uma avaliação, destacando os desafios de conter Agentes de IA cada vez mais capazes em ambientes de testes controlados.
Os apelos por uma regulamentação mais rigorosa da IA aumentaram, com o ganhador do prêmio Nobel Geoffrey Hinton alertando que a IA avançada poderia escapar do controle humano e o cofundador da Microsoft, Bill Gates, pedindo aos governos que imponham padrões de segurança.
No entanto, o presidente dos EUA, Donald Trump, se opôs às restrições, argumentando que elas poderiam dar à China uma vantagem tecnológica. Enquanto isso, o CEO da OpenAI, Sam Altman, “candidamente” opinou recentemente que a sociedade civilização deve aceitar algumas “coisas ruins”, incluindo hacks e golpes, pois os “benefícios” da tecnologia superam seus riscos.
