OpenAI para treinamento após agentes de IA agirem por conta própria

CEO da OpenAI, Sam Altman, afirmou que o incidente envolveu o Hugging Face continua sendo o mais grave
Alexi J. Rosenfeld/Getty Images/AFP
A empresa OpenAI comunicou neste sábado (26/09) que suspendeu temporariamente o treinamento de seus mais recentes modelos de inteligência artificial (IA).
O anúncio foi feito horas depois de a empresa comunicar, na sexta-feira (25), que estava analisando vários incidentes ocorridos durante o verão, nos quais agentes da OpenAI encarregados de pesquisar sites do governo federal dos EUA agiram de maneiras inesperadas, indo além do que lhes havia sido solicitado ao coletar e distribuir informações.
🗒️ Tem alguma sugestão de reportagem? Mande para o g1
Os modelos de IA da empresa responsável pelo ChatGPT acessaram informações disponíveis publicamente em dois sites operados pela Comissão de Valores Mobiliários dos Estados Unidos (SEC), além de dados do Departamento de Censos dos EUA, revelou a empresa.
Num anúncio separado, a organização de avaliação de IA Transluce afirmou que agentes que pareciam ser da OpenAI tentaram invadir um site do Departamento de Educação dos EUA, mas não conseguiram. A OpenAI não confirmou esse incidente.
Agora no g1
A OpenAI declarou que retomará o treinamento apenas quando dispuser de garantias adicionais. A empresa acrescentou que provavelmente terá de “apertar o botão de pausa” novamente à medida que a IA evoluir e novos problemas surgirem.
Apelos dentro do próprio setor
A revelação ocorre num momento de crescente preocupação global com a possibilidade de sistemas de IA escaparem ao controle humano e invadirem sites externos.
Laboratórios de IA vêm sofrendo pressão de legisladores e especialistas em tecnologia para desacelerar o desenvolvimento de seus sistemas, de modo que possam estabelecer mecanismos de proteção capazes de impedir que agentes atuem por conta própria, invadam sites e divulguem informações não públicas.
Ao mesmo tempo, aumentam os apelos, inclusive dentro do próprio setor, por uma desaceleração no desenvolvimento da inteligência artificial, postura que a OpenAI afirma apoiar. Dirigentes tanto da OpenAI quanto da concorrente Anthropic defenderam uma redução no ritmo de desenvolvimento.
Riscos da inteligência artificial
Esta é a segunda vez em três meses que a OpenAI interrompe o desenvolvimento de seus modelos. A primeira ocorreu em julho, após a OpenAI revelar que dois de seus modelos de IA mais avançados foram responsáveis por um ataque cibernético contra a Hugging Face, uma startup do setor de inteligência artificial.
Esse incidente teve grande repercussão e aumentou os temores de que a indústria estivesse perdendo o controle sobre a tecnologia.
Numa publicação nas redes sociais na sexta-feira, o presidente executivo (CEO) da OpenAI, Sam Altman, afirmou que o incidente envolvendo a Hugging Face continua sendo o mais grave até agora.
Altman e o diretor-executivo da empresa de IA Anthropic, Dario Amodei, recentemente alertaram para os riscos da inteligência artificial e defenderam uma desaceleração em seu desenvolvimento.
A presidente da Comissão Europeia, Ursula von der Leyen, anunciou que pretende convidar as principais empresas de IA para discussões sobre a necessidade de “reduzir o ritmo”. Já o presidente dos Estados Unidos, Donald Trump, e o CEO da Meta, Mark Zuckerberg, se opõem a essa ideia.
Durante um encontro com o presidente chinês, Xi Jinping, nesta semana, Trump concordou em compartilhar informações sobre os riscos da inteligência artificial e coordenar esforços para mantê-la segura, mas considerou exagerados os temores relacionados à IA.
“Os Estados Unidos não vão pisar no freio”, disse Trump. “Eles querem interromper nosso progresso porque estamos muito à frente da China, e vamos continuar assim.”
Sem acesso a informações sigilosas
Os incidentes mais recentes envolvendo a OpenAI aparentemente não resultaram no acesso a informações sigilosas, mas foram considerados suficientemente preocupantes para que a empresa alertasse os órgãos federais envolvidos.
No caso relacionado ao Departamento de Educação, agentes da OpenAI encontraram “chaves de desenvolvedor” (API keys) para acessar dados governamentais, embora, no fim, apenas informações públicas tenham sido coletadas.
No episódio envolvendo a SEC, os agentes encontraram informações livremente disponíveis ao público, mas depois as publicaram em outro local da internet, uma ação que ultrapassou as instruções que haviam recebido. A SEC comunicou que nenhuma informação não pública foi acessada.
O Departamento de Educação havia informado anteriormente que não encontrou “nenhuma evidência de qualquer impacto em nosso site ou em nossos bancos de dados”.