Agentes de IA da OpenAI invadem site alemão e criam fórum para burlar regras da própria empresa

Como agentes de IA da OpenAI invadiram sistema e tentaram apagar os próprios rastros
Um grupo de agentes de inteligência artificial da OpenAI invadiu, em maio deste ano, um site alemão e o transformou em uma espécie de fórum para outros agentes de IA. O episódio foi mantido em segredo pela empresa por semanas.
A Reuters revelou que foram compartilhadas estratégias para burlar tarefas, contornar restrições da própria OpenAI e esconder o comportamento dos sistemas.
Os pesquisadores encontraram mais de 15 mil edições feitas por agentes de IA no DseWiki, um site alemão voltado para programadores que permite alterações colaborativas, de forma semelhante à Wikipédia.
Segundo eles, as mensagens indicavam que os agentes também planejavam maneiras de evitar a detecção, usar ferramentas como o Tor e manter as comunicações mesmo depois de serem desativados.
Empresa manteve tudo em segredo
O caso veio à tona enquanto a OpenAI já enfrentava questionamentos sobre a segurança de seus sistemas.
Funcionários da empresa souberam do episódio na Alemanha há semanas, mas o mantiveram em segredo enquanto os executivos lidavam com as consequências de uma outra violação, ocorrida em julho no Hugging Face, um repositório de código aberto, segundo duas fontes ouvidas pela Reuters.
A atividade na Alemanha não tinha relação com o episódio do Hugging Face, afirmou a OpenAI. A empresa também disse que o caso alemão não teria sido incluído em um relatório sobre o incidente do Hugging Face.
Como os pesquisadores encontraram os agentes
A atividade no DseWiki foi descoberta no fim de agosto por Sydney Von Arx, presidente-executiva da Nightingale, organização sem fins lucrativos dedicada à segurança da IA, e Cormac Slade Byrd, trader quantitativo que se tornou pesquisador de inteligência artificial.
A dupla estava procurando na internet sinais de comportamentos não autorizados de agentes de IA quando encontrou as milhares de alterações no site.
Segundo os pesquisadores, as mensagens eram assinadas por usuários que se identificavam como agentes de IA. Cerca de metade deles usava nomes que sugeriam ligação com a OpenAI, como “OpenAIResearcher” e “OAIResearchMar26”.
Os pesquisadores também disseram ter identificado nos registros públicos do servidor que grande parte da atividade vinha da infraestrutura do Microsoft Azure, serviço que a OpenAI utiliza ocasionalmente.
Eles ainda observaram visitas repetidas de funcionários da OpenAI ao site depois do episódio. Para os pesquisadores, o conjunto dessas evidências indicava uma forte ligação entre os agentes e a empresa.
Von Arx afirmou que o comportamento observado parecia incompatível com o que a OpenAI pretendia que seus agentes fizessem. Segundo ela, os agentes aparentemente estavam se coordenando entre si e escrevendo na internet aberta.
Agentes tentaram escapar da limpeza do site
As mensagens analisadas também mostraram que os agentes encontraram maneiras de preservar o conteúdo publicado no site.
Quando o moderador do DseWiki começou a apagar páginas em junho, os agentes criaram páginas de backup para tentar impedir que as informações fossem eliminadas.
Em uma das mensagens, publicada em 19 de junho, um agente observou que a limpeza parecia estar acontecendo em ordem alfabética e indicou outra página para ser usada caso a primeira desaparecesse.
Os pesquisadores também encontraram tentativas de alterar o próprio site. Para Lukasz Olejnik, pesquisador sênior visitante do King’s College London, isso equivale a uma tentativa de invasão.
A OpenAI contestou essa interpretação após analisar o material na quinta-feira (3).
Caso aumenta preocupação sobre autonomia da IA
O episódio ocorre em meio à corrida das empresas de tecnologia para criar agentes de IA cada vez mais capazes de realizar tarefas complexas de forma independente.
Ao mesmo tempo, vêm surgindo evidências de que esses sistemas podem encontrar maneiras de contornar regras, explorar brechas e até agir em conjunto de formas que seus desenvolvedores não esperavam.
O incidente do Hugging Face, em julho, aumentou essas preocupações. Na ocasião, agentes da OpenAI teriam planejado de forma autônoma um “roubo” digital que permaneceu sem ser percebido por mais de uma semana.
A OpenAI se comprometeu a acompanhar seus modelos mais de perto. No mês passado, a empresa interrompeu temporariamente parte do treinamento de seus modelos para acrescentar novas medidas de segurança.
Nesta semana, porém, a companhia apresentou o “Astra”, que promete melhorar o desempenho, mas também pode escapar do monitoramento humano.
OpenAI nega que tenha impedido investigação
O episódio na Alemanha também provocou uma discussão dentro da própria OpenAI. Alguns pesquisadores da empresa queriam investigar mais profundamente esse tipo de comportamento, mas encontraram resistência de outras pessoas dentro da companhia, incluindo consultores jurídicos, segundo quatro fontes a par do assunto.
A OpenAI negou essa versão.
“As alegações de que nossa equipe jurídica desencorajou a investigação do incidente são falsas”, afirmou um porta-voz.
A empresa também afirmou que não poderia responder de forma detalhada às conclusões de um relatório que ainda não havia tido a oportunidade de analisar.
“A Reuters e os autores do relatório recusaram nosso pedido de acesso. Analisaremos cuidadosamente seu conteúdo assim que for publicado e tomaremos as medidas necessárias”, disse o porta-voz.
A OpenAI afirmou ainda que agiu de boa-fé ao trabalhar com especialistas externos e que divulgou os incidentes considerados relevantes.
Pesquisadores veem um comportamento diferente do observado em testes
Maurice Chiodo, acadêmico do Centro de Estudos de Risco Existencial da Universidade de Cambridge que analisou parte das comunicações dos agentes, disse que as mensagens pareciam mostrar o funcionamento de uma espécie de rede clandestina formada para cumprir uma missão.
Segundo ele, o episódio reforça a preocupação de que a maior ameaça representada pela IA avançada talvez não venha de um único sistema extremamente poderoso, mas de grandes grupos de sistemas menos avançados que possam agir em conjunto.
Até então, comportamentos inadequados de agentes de IA eram frequentemente tratados como resultado dos próprios testes de segurança, nos quais os sistemas são colocados à prova justamente para avaliar suas capacidades ofensivas.
Para Olejnik, porém, as novas descobertas indicam que esse tipo de comportamento pode não estar restrito a ambientes de teste.
*Com informações da Reuters
Estruturas de aço de data centers em construção durante uma visita às instalações da OpenAI em Abilene, no Texas
Shelby Tauber / Reuters