O ataque da OpenAI à Hugging Face é cada vez mais preocupante: os modelos o planejaram durante seamans e ninguém se deu conta

O incidente em que vários modelos da OpenAI atacaram Hugging Face acaba de ganhar uma dimensão muito mais séria. Segundo publicam na WIRED, os agentes coordenaram e planejaram seus movimentos durante semanas, enquanto sua atividade passava totalmente despercebida dentro da própria infraestrutura da OpenAI.

Wireshark Download

Uma rede interna convertida em centro de operações

Sabíamos que os modelos envolvidos encontraram uma vulnerabilidade que lhes permitiu acessar a internet por meio do Artifactory, o gerenciador de pacotes interno da OpenAI. O que não sabíamos é que usaram esse acesso para se comunicar entre si e que criaram ali um mural com centenas de milhares de mensagens, dividindo tarefas, apresentando descobertas e reutilizando exploits.

Essa forma de se comportar é o que conhecemos como reward hacking em agentes de IA: quando uma avaliação premia o resultado, o sistema pode buscar o caminho mais eficiente para conseguir a recompensa. No caso do ataque ao Hugging Face, algumas mensagens reconheciam que o acesso externo ficava fora do escopo previsto e, ainda assim, continuaram.

A verdadeira preocupação está na detecção

O mais preocupante da situação — pois não é a primeira vez que uma IA pode propor um procedimento ou dar uma resposta incorreta — é que toda essa coordenação ficou fora de qualquer supervisão durante semanas. Enquanto os próprios agentes de IA chegaram até a propor o uso de assinaturas criptográficas para identificar as mensagens confiáveis e evitar supostos impostores dentro do grupo, a OpenAI decidiu desacelerar parte de sua pesquisa e reforçar a supervisão.

Uma resposta sem dúvida coerente que, no contexto do lançamento do Codex Security e do vácuo legal sobre a responsabilidade em situações parecidas, deixa mais perguntas do que respostas. Uma possível resposta? A defesa automatizada terá que avançar, no mínimo, no mesmo ritmo que esses sistemas.