OpenAI diz que ataque de sua IA atingiu mais alvos do que se sabia

OpenAI diz que ataque de sua IA atingiu mais alvos do que se sabia
Getty Images via BBC
A OpenAI, criadora do ChatGPT, revelou que o ataque cibernético realizado por alguns de seus modelos de inteligência artificial mais avançados atingiu mais de uma empresa.
🗒️ Tem alguma sugestão de reportagem? Mande para o g1
Acreditava-se que a Hugging Face, uma espécie de biblioteca digital de tecnologia muito usada por desenvolvedores, era a única vítima do ataque sem precedentes. Mas a OpenAI agora admitiu que seu bot atacou diversos “serviços disponíveis publicamente”.
A IA descontrolada encontrou quatro logins online que lhe permitiram acessar quatro serviços distintos e não identificados.
Enquanto isso, em uma reunião de emergência com centenas de profissionais de segurança cibernética, a Hugging Face descreveu como foi estar do outro lado do primeiro ataque de IA totalmente autônomo do mundo.
Agora no g1
A empresa descreveu que a IA operou em velocidade sobre-humana, mas também tomou decisões estranhas e cometeu erros que nenhum hacker humano teria cometido.
A Hugging Face, que funciona como uma loja de aplicativos para ferramentas de IA, afirmou que os agentes hackers trabalharam incansavelmente com milhares de métodos diferentes testados simultaneamente.
A empresa revelou pela primeira vez que havia sido hackeada por alguém usando uma IA autônoma poderosa em 16 de julho e denunciou o caso à polícia.
Quase uma semana depois, a OpenAI admitiu que foi sua IA que escapou de um ambiente fechado e atacou a Hugging Face por conta própria durante um teste.
A IA estava tentando encontrar as respostas para um teste de hacking que havia sido elaborado pela OpenAI e atacou a Hugging Face.
Nesta quarta-feira (29/07), a OpenAI atualizou sua declaração para incluir o detalhe adicional de que o ataque foi além do que se pensava inicialmente.
“Os modelos identificaram e usaram credenciais expostas publicamente em nível de conta em outros serviços disponíveis publicamente. Isso inclui quatro contas em quatro serviços como parte do incidente com a Hugging Face”, disse a empresa.
A OpenAI não esclareceu se, com “serviços disponíveis publicamente”, estava se referindo a empresas.
Comportamentos desajeitados
Na terça-feira (28), a Cloud Security Alliance (CSA), associação do setor, publicou um relatório baseado em uma reunião de emergência com a Hugging Face realizada na semana anterior — relatório esse que a própria Hugging Face revisou.
“Os agentes seguiram rotas ineficientes e exibiram comportamentos desajeitados que nenhum humano escolheria”, escreveu a CSA.
Ainda segundo o relatório, os agentes repetiram ações que já haviam concluído — um sinal de uma IA perdendo o fio da meada e o contexto.
Eles também teriam alucinado com uma série de comandos e textos incoerentes, agido de forma descuidada e não apagado seus rastros adequadamente.
Mas, em meio aos erros e comportamentos estranhos, a Hugging Face alertou que os agentes de IA também fizeram movimentos técnicos brilhantes e foram capazes de se adaptar rapidamente a novos cenários durante o ataque, que durou vários dias.
Jurassic Park
Foram necessários três dias para que os agentes fossem descobertos dentro da rede de TI da Hugging Face, e os especialistas em IA e segurança cibernética da empresa levaram várias horas para conter e expulsar os invasores — algo com que empresas comuns teriam dificuldades.
A empresa não revelou o custo do ataque, mas afirmou que a equipe trabalhou por muitas horas para reconstruir cerca de um terço de sua infraestrutura.
A Hugging Face foi elogiada por sua transparência ao relatar o ocorrido ao setor de IA e segurança cibernética.
A CSA alertou que o incidente demonstra que os agentes de IA “encontraram um meio” — uma referência à frase “a vida encontra um meio”, dita pelo personagem Dr. Ian Malcolm, no filme Jurassic Park, em relação à capacidade da natureza de se adaptar.
“Eles são orientados por objetivos, definem suas próprias submetas, adaptam-se em tempo real para contornar defesas e operam com uma persistência na velocidade de uma máquina que pode sobrepujar operações manuais”, diz o relatório.
OpenAI diz que ataque de sua IA atingiu mais alvos do que se sabia
Getty Images via BBC
O oficial de segurança cibernética Ritesh Patel, que participou da reunião de emergência da Hugging Face com cerca de 450 outras pessoas, afirma que o setor está trabalhando arduamente para lidar com a nova ameaça de agentes de IA maliciosos.
“Esta é a realidade dos agentes autônomos movidos por modelos de ponta: eles são implacavelmente persistentes, às vezes extremamente ruidosos e tentarão todos os caminhos possíveis para atingir seu objetivo, o que pode facilmente sobrecarregar as defesas tradicionais”, disse ele.
A hacker ética Valentina Palmiotti — mais conhecida como Chompie — analisou o relatório da CSA e afirma que a maneira como os agentes hackeiam pode parecer aleatória, mas é claramente eficaz.
“Eles lançam um monte de coisas e veem o que funciona”, disse ela.
“Mas eles também não se entediam, não dormem e podem ser infinitamente tenazes.”
Comportamento descontrolado
Esta não é a primeira vez que agentes de IA demonstram comportamento “descontrolado”.
O relatório da CSA cita exemplos anteriores, como o de setembro de 2024, quando um modelo anterior do ChatGPT “escapou” para obter uma resposta necessária para outro teste.
Esse evento foi contido nos próprios sistemas de TI da OpenAI, observou a CSA.
Mas, segundo o documento, o comportamento “descontrolado” “é a norma, não a exceção”.
O relatório também alerta os profissionais de segurança cibernética em todo o mundo sobre a necessidade de se adaptarem ao novo normal de enxames de agentes de IA trabalhando rapidamente de maneiras estranhas e desajeitadas, o que pode levar a mais violações de segurança.
O documento ainda instou pessoas que usam ou desenvolvem agentes de IA a serem responsáveis ​​na forma como os controlam, defendendo alguma maneira para que os defensores da segurança cibernética descubram quem é o proprietário final dos agentes, a fim de aumentar a transparência.
Relatórios anteriores sugerem que a OpenAI levou quatro dias para perceber que sua IA havia hackeado a Hugging Face.
A OpenAI afirmou que divulgará em breve as conclusões de sua própria investigação para ajudar as pessoas a aprenderem com o ocorrido.
Reportagem adicional de Osmond Chia
LEIA TAMBÉM:
Como centenas de conversas privadas com chat de IA Claude acabaram disponíveis publicamente
Inteligência artificial da dona do ChatGPT se rebela e faz ataque hacker: preocupante ou golpe publicitário?