A advertência de empresa hackeada por modelo ‘rebelde’ de IA da controladora do ChatGPT: ‘É um sinal de alerta’

Nova IA da OpenAI ‘se rebela’, invade sistema e copia dados sem permissão
O cofundador da Hugging Face, empresa de tecnologia que foi alvo de um ataque cibernético depois que alguns dos modelos de inteligência artificial (IA) mais avançados da OpenAI saíram do controle, afirmou nesta quinta-feira (23) que o episódio é “um alerta para toda a indústria”.
Em entrevista ao programa de rádio Newsday, da BBC, Thomas Wolf disse que esse “será um dos tipos de ataque cibernético mais comuns daqui para frente”, mas alertou que a maioria das empresas ainda não se deu conta de que “o cenário mudou”.
🗒️Tem alguma sugestão de reportagem? Mande para o g1
A BBC procurou a OpenAI para comentar o caso, mas não havia recebido resposta até a publicação desta reportagem.
A OpenAI, empresa responsável pelo ChatGPT, informou na terça-feira (21) que, durante um teste, seus modelos de IA romperam as barreiras de um ambiente seguro e realizaram um ataque cibernético.
A empresa afirmou que foi um episódio “sem precedentes” e informou que está investigando o caso em parceria com a Hugging Face.
Agentes de IA são capazes de executar tarefas de forma autônoma após receber instruções de humanos ou de outros agentes.
🔍 O modelo usado por esses agentes é, de forma simplificada, um sistema de computador treinado com grandes volumes de dados para identificar padrões e “aprender” a, por probabilidade, produzir respostas ou realizar tarefas, como testar a segurança de um sistema, escrever códigos ou gerar imagens.
Wolf, da Hugging Face, afirmou que quando os primeiros indícios do ataque surgiram, em meados de julho, a empresa não fazia ideia de sua origem. Ainda assim, a empresa conseguiu conter a invasão.
A Hugging Face é uma das maiores plataformas de código aberto do mundo para compartilhamento de modelos de IA e é amplamente utilizada por desenvolvedores e pesquisadores.
Segundo Wolf, o ataque foi “muito diferente” das tentativas de invasão que a Hugging Face costuma enfrentar. Ele disse que a OpenAI avisou rapidamente que seus próprios modelos de IA eram os responsáveis pelo ataque.
Em um intervalo muito curto de tempo, a rede da Hugging Face sofreu 17 mil tentativas de invasão vindas de diferentes endereços IP (protocolo de Internet), afirmou Wolf, que também é diretor científico da empresa.
Segundo Wolf, o episódio serve de alerta para que outras empresas reforcem as suas defesas de cibersegurança e estejam preparadas para enfrentar ataques desse tipo.
Para Nate Soares, do Machine Intelligence Research Institute, nos EUA, a invasão é preocupante porque sugere que os modelos da OpenAI ignoraram os mecanismos de proteção que normalmente impediriam um sistema de IA de realizar um ataque cibernético.
“De certa forma, ele sabia que não era isso que seus criadores pretendiam. Mas simplesmente não se importou”, afirmou Soares.
Outras organizações também passaram a acompanhar o caso.
Um porta-voz do governo do Reino Unido informou que o Instituto de Segurança em IA do país está analisando o comportamento do sistema de IA durante o incidente e que continua trabalhando com a OpenAI e outros laboratórios para reforçar os mecanismos de proteção.
O governo britânico também recomendou que as organizações reforcem as medidas de cibersegurança, adotando iniciativas como a certificação Cyber Essentials, apoiada pelo governo britânico.
O episódio ocorre em um momento delicado para o setor. No mês passado, o governo dos Estados Unidos determinou que a empresa americana Anthropic, responsável pelo Claude, restrinja o acesso aos seus modelos de IA por motivos de segurança nacional. Algumas semanas depois, o Departamento do Comércio americano revogou a medida.
Também vêm crescendo as preocupações no setor com grande disseminação de modelos de código aberto na China, que permitem a qualquer pessoa instalar e adaptar ferramentas de IA desenvolvidas por grandes empresas.
A startup chinesa Moonshot AI lançará seu modelo de código aberto Kimi K3 em 27 de julho.
Desde que foi apresentado, na semana passada, ele tem chamado a atenção da indústria e é visto por muitos como um forte concorrente dos principais sistemas de IA desenvolvidos nos EUA, principalmente.
Mas na quarta-feira (22) um assessor do governo americano acusou a Moonshot de promover um esforço “em larga escala” para copiar as capacidades dos principais modelos de IA dos EUA.
Thomas Wolf, cofundador e diretor científico da Hugging Face
Bloomberg via Getty Images