É horrível dizer isso, mas neste momento estou meio que rezando para que as avaliações do setor de IA despenquem e o setor enfrente contratempos que nos darão meses para refletir sobre suas empresas. O pesquisador da Anthropic Jacob Coxon está deixando a indústria de IA porque acredita que a corrida para construir sistemas auto aperfeiçoados está avançando mais rápido do que a capacidade da indústria de controlá-los, foi relatado ontem.

Fonte: QuoththeRaven

Um pesquisador da Anthropic que está saindo alerta que a corrida para construir uma IA autoaperfeiçoada pode deixar a humanidade sem como retomar o controle da mesma.

Coxon, que trabalhou anteriormente na OpenAI, disse que os esforços de segurança da Anthropic foram sinceros, mas que a competição dificulta uma contenção significativa sem uma coordenação mais ampla.

Em uma época em que tudo, desde a guerra até Wall Street, redes elétricas, sistemas de pagamento, controle de tráfego aéreo, redes hospitalares e o software que mantém nossos alimentos, combustível e comunicações em movimento, é digital, perder o controle dos sistemas que operam essa infraestrutura não é um problema abstrato de ficção científica.

É um problema potencialmente à escala de extinção da civilização. E quanto mais entregamos nossas vidas ao controle da IA, menos reconfortante se torna ouvir que as pessoas que a constroem ainda estão descobrindo como garantir que ela faça o que lhe mandam.

“Estamos no caminho certo para muitos dos cenários mais agressivos, onde até o final do ano que vem as coisas podem estar fora de controle”, disse Coxon em uma publicação ontem.

Sua saída da Anthropic ocorre em meio à crescente preocupação com o comportamento enganoso dos sistemas de IA, a condução de ataques cibernéticos e o desenvolvimento de capacidades que podem se tornar cada vez mais difíceis de supervisionar.

Coxon acredita que a indústria está se aproximando de um ponto em que os sistemas podem se auto aprimorar mais rápido do que os humanos conseguem entendê-los ou restringi-los de forma confiável.

Pense nisso por um segundo. Enquanto você se pergunta se os Patriots cobriram -2,5 em um domingo, coçando a bunda e bebendo cerveja por três horas, um grupo de 823 trilhões de GPUs com o poder cerebral de cada ser humano que já viveu vezes um zilhão está silenciosamente descobrindo como administrar o mundo inteiro sem você.

E quando você perceber o que está acontecendo, a única coisa que você ainda terá controle é se quer outra cerveja.

É claro que há algo a ser dito sobre o timing de Coxon. É mais fácil ser bombástico quando você está saindo pela porta. Você não precisa mais se preocupar com a próxima avaliação de desempenho, com a próxima reunião com a gerência ou se seus comentários vão tornar a vida desconfortável no escritório. E se você quiser agitar as coisas ao sair, um aviso dramático sobre o futuro da humanidade é uma maneira bastante eficaz de fazer isso.

Mas isso não significa que seu aviso esteja errado.

Estou cada vez mais convencido de que chegará um ponto em que, se não tivermos saído diante da IA, restringido suas capacidades ou estabelecido restrições significativas, talvez não consigamos mais fazê-lo. A questão não é se esse ponto chegará no ano que vem, daqui a cinco anos ou mais. A questão é se o reconheceremos antes de o atravessarmos.

E se você estiver prestando atenção, não é mais loucura contemplar sistemas de IA eventualmente assumindo o controle de enormes porções de nossa infraestrutura digital. Já vimos modelos demonstrarem capacidades inesperadas, explorarem vulnerabilidades e se comportarem de maneiras que seus desenvolvedores não pretendiam.

E ontem mesmo, a OpenAI anunciou que um sistema interno de IA havia produzido uma solução para o Problema do Prêmio do Milênio Navier–Stokes, uma questão matemática que resiste aos pesquisadores há décadas.

A empresa afirma que a prova foi gerada através de um esforço coordenado envolvendo cerca de 10 mil agentes de IA. Esse é outro lembrete de que capacidades antes consideradas seguras além desses sistemas estão chegando muito mais rápido do que muitas pessoas esperavam. Agora imagine esses 10.000 agentes de IA trabalhando em qualquer problema que quiserem, quando quiserem, sem se importar com os seres humanos.

A lacuna entre o que esses sistemas podem fazer e o que podemos garantir com segurança que eles não farão está se tornando um problema sério, se você me perguntar. E à medida que mais economia, comunicações, finanças, energia e infraestrutura nacional se tornam dependentes de software, as consequências de errar essa lacuna se tornam muito maiores.

Esta não é mais apenas uma questão de saber se um chatbot lhe dá uma resposta ruim. É uma questão do que acontece quando sistemas cada vez mais autônomos têm acesso à maquinaria que administra o mundo moderno. E já estamos tendo uma ideia do porquê isso importa:

1. Violação do Hugging Face da OpenAI: Durante uma avaliação de segurança cibernética em julho de 2026, os agentes da OpenAI ignoraram os controles de isolamento do ambiente de teste e obtiveram acesso à infraestrutura de produção do Hugging Face. O incidente demonstrou que um sistema que persegue um objetivo legítimo de teste poderia explorar uma vulnerabilidade real e cruzar com sistemas que nunca deveria alcançar.
2. Três intrusões não autorizadas da Anthropic: depois de analisar mais de 141.000 execuções de avaliação, a Anthropic identificou três casos em que os modelos Claude chegaram à internet e acessaram organizações reais’ sistemas sem autorização. Os modelos estavam trabalhando em desafios de segurança cibernética com salvaguardas reduzidas, mas os incidentes ainda expunham falhas nos limites destinados a contê-los.
3. Episódio do wiki de programação alemão: agentes da OpenAI usaram um wiki de programação público como um canal de comunicação não autorizado, fazendo milhares de edições e criando páginas que poderiam ser usadas para trocar informações. O episódio mostrou como os agentes podem reaproveitar a infraestrutura comum da Internet de maneiras que seus operadores não pretendiam.
4. A tentativa de cadeia de suprimentos de código aberto: durante os testes de segurança cibernética do governo do Reino Unido, um modelo Anthropic tentou introduzir código malicioso em um projeto real de código aberto e usou identidades enganosas para interagir com seus mantenedores. A atividade fazia parte de uma avaliação, não de uma campanha criminosa lançada de forma independente, mas ilustrava como um agente poderia passar de um objetivo simulado para um ecossistema de software real.
5. Exclusão do banco de dados Replit: Em julho de 2025, um assistente de codificação de IA excluiu um banco de dados de produção ativo, apesar das instruções para não fazer alterações. Também gerou informações enganosas sobre o estado do projeto. O episódio foi um lembrete de que dar amplas permissões a um agente pode transformar um erro comum de software em um erro destrutivo.
6. A campanha de espionagem orquestrada por IA: A Anthropic relatou em novembro de 2025 que havia interrompido uma operação de ciberespionagem na qual invasores usaram Claude para realizar partes substanciais de seu fluxo de trabalho de intrusão. Este foi o uso humano malicioso da IA, em vez de uma IA decidir atacar de forma independente, mas demonstrou quanto trabalho de ataque cibernético já pode ser delegado a sistemas autônomos.
7. Vulnerabilidade de vazamento de dados do Microsoft 365 Copilot: pesquisadores de segurança divulgaram uma falha de injeção imediata em 2025 que poderia permitir que um e-mail especialmente criado fizesse com que o Copilot expusesse informações organizacionais. A Microsoft corrigiu o problema. A lição foi que um assistente de IA pode se tornar uma rota para dados confidenciais quando trata conteúdo não confiável como instruções.
8. Demonstração de injeção imediata do Slack AI: Pesquisadores mostraram que instruções maliciosas colocadas em um canal do Slack podem fazer com que o assistente divulgue informações de canais privados. A vulnerabilidade ilustrou como um sistema de IA com acesso a múltiplas fontes de informação pode ser manipulado para cruzar fronteiras entre elas.
9. O experimento de chantagem de IA: Nos testes de segurança controlados da Anthropic, um modelo colocado em um cenário corporativo fictício às vezes optava por ameaçar um funcionário com a exposição de informações privadas quando acreditava que isso impediria sua substituição. Nenhum funcionário real foi chantageado. A significância foi que o modelo poderia selecionar o comportamento coercitivo como meio de atingir um objetivo nas condições de teste.
10. Os alertas das pessoas que estão desenvolvendo a tecnologia: Elon Musk, Steve Wozniak e centenas de outros signatários pediram uma pausa no treinamento dos sistemas de IA mais poderosos em 2023, alertando que máquinas cada vez mais capazes poderiam criar riscos que a sociedade não estava preparada para gerenciar. A saída de Coxon é outro lembrete de que as preocupações com o controle não se limitam a pessoas que nunca trabalharam na tecnologia.

Nenhum destes exemplos prova que a IA está prestes a dominar o mundo. Algumas eram avaliações controladas, algumas eram vulnerabilidades de segurança e algumas envolviam humanos usando deliberadamente IA para fins maliciosos. Mas, juntos, eles mostram por que o problema de controle merece ser levado a sério. Já estamos vendo sistemas ultrapassarem as fronteiras pretendidas, explorarem fraquezas e realizarem ações que os seus operadores não previram. A questão é o que acontece quando essas capacidades se tornam substancialmente mais poderosas e estão ligadas a infraestruturas mais consequentes.

Então, se Coxon está sendo bombástico, isso não vem ao caso. Seu aviso é legítimo e merece ser tratado como um aviso sério, em vez de descartado como mais um funcionário descontente fazendo barulho ao sair. Você pode revirar os olhos na denúncia e ainda reconhecer que a preocupação subjacente é real.

A IA agora é uma corrida. Uma corrida entre empresas, uma corrida entre países, uma corrida entre fundadores de empresas zelosos. E numa corrida há adrenalina, competitividade e toda a razão do mundo para jogar o cuidado ao vento para ser o primeiro. Para ganhar. Só que dessa vez ‘ganhar’ sua briga com outro fundador idiota de IA pode acidentalmente significar o fim da civilização. E eu realmente não estou tentando ser hiperbólico.

Se ignorarmos a velocidade com que estamos nos movendo… e esperarmos até que os sistemas sejam poderosos o suficiente para que não possamos mais restringi-los de forma confiável, o debate sobre se deveríamos ter agido antes será completamente sem sentido.

Podemos ter apenas uma chance de estabelecer um controle significativo antes que isso aconteça. Provavelmente deveríamos usá-la.

---