O alerta do Painel Científico Internacional Independente sobre IA, apoiado pela ONU, veio na sequência do ataque cibernético à plataforma online HuggingFace, ocorrido entre maio e julho, por "agentes de IA" durante um teste iniciado pela OpenAI, empresa responsável pelo ChatGPT.
Os agentes de IA são softwares capazes de executar tarefas de forma independente e em nome de um usuário, diferentemente dos chatbots, que são acionados por perguntas ou instruções.
O painel divulgou seu primeiro relatório temático , que concluiu que a violação de segurança foi resultado do acúmulo de fatores de risco importantes, aumentando os temores de que os humanos um dia não serão mais capazes de direcionar, restringir ou impedir a IA.
Guterres acolhe com satisfação o relatório
O secretário-geral da ONU, António Guterres, emitiu uma forte declaração de apoio ao relatório do painel na segunda-feira, incentivando especialistas externos "de laboratórios de IA de ponta e institutos de segurança de IA a se envolverem" ainda mais.
Ele também elogiou a liderança do presidente finlandês e do primeiro-ministro norueguês, que levou a uma declaração adotada à margem da Assembleia Geral por 22 países na segunda-feira, afirmando que a IA " deve permanecer sob direção, discernimento e controle humanos ", indicando que é necessário criar um órgão supervisor independente.
O Sr. Guterres destacou o apelo aos Estados-Membros para que “se baseiem nos mecanismos internacionais existentes e explorem a criação de uma instituição internacional capaz de definir padrões, permitir a verificação e convocar os Estados quando os limites de capacidade forem ultrapassados ”.
Treinamento de IA avançando
“ Há muito tempo que os investigadores alertam que três condições podem levar à perda de controlo: um objetivo desalinhado, a capacidade de o alcançar e um ambiente que o permita . Neste verão, as três condições convergiram num sistema real, não num laboratório”, afirmou Yoshua Bengio, co-presidente do painel científico.
“Como esta não é uma observação isolada de objetivos desalinhados, isso levanta sérias questões sobre a forma como os agentes de IA são treinados atualmente .”
Os especialistas independentes do painel enfatizam que o incidente não oferece nenhuma garantia de que os humanos possam manter os agentes de IA sob controle de forma confiável, principalmente à medida que eles se tornam mais capazes, mais difíceis de monitorar e melhores em encontrar brechas ou ocultar suas atividades.
Agindo por conta própria
O relatório afirma que os agentes de IA contornaram as medidas de segurança dos testes, coordenaram-se em execuções separadas por meio de uma ferramenta de software interna não projetada para permitir a comunicação entre agentes e obtiveram acesso não autorizado à internet e ao painel de administração.
Os agentes ocultaram tentativas de fraudar avaliações de segurança cibernética, com alguns optando por se "sacrificar" em benefício do grupo.
Aproximadamente 1.200 agentes trocaram mais de 70.000 mensagens e arquivos durante o período analisado, e a atividade se estendeu além da Hugging Face, abrangendo também um cluster de pesquisa da OpenAI.
Salvaguardas atuais 'estão se desfazendo'
Para o painel, a lição imediata do incidente é que as práticas básicas de segurança cibernética foram negligenciadas, enquanto as medidas de segurança não estão acompanhando o ritmo .
No entanto, eles apontaram para uma preocupação mais insidiosa: a de que os métodos de treinamento atuais podem levar os agentes de IA a adotarem seus próprios objetivos, violarem conscientemente as instruções de segurança e ocultarem suas ações.
“Não se trata apenas de uma questão de velocidade”, afirmaram os especialistas do painel. “Isso deixa em aberto a questão de se as salvaguardas concebidas hoje funcionarão quando os agentes conseguirem compreendê-las e planejar em função delas. Em termos simples, o modelo tradicional de salvaguarda está se desfazendo .”
Contexto mais amplo, riscos futuros e governança
O relatório do painel de IA contextualiza o incidente da Hugging Face dentro de uma pesquisa mais ampla sobre duas questões: desalinhamento de agentes – ou seja, quando agentes de IA agem de forma semelhante a uma ameaça – e controle por IA.
Outra questão analisada é como a governança está migrando de modelos de IA, que usam algoritmos para reconhecer padrões, para agentes de IA.
Aprenda e adapte-se
O relatório também analisa abordagens práticas já em uso em outros setores de alto risco, como aviação, medicina e segurança cibernética, onde a notificação de incidentes, a análise independente e as salvaguardas em camadas estão em vigor.
“Mas essas práticas podem não ser suficientes à medida que os agentes de IA se tornam mais capazes, autônomos e difíceis de monitorar ”, disse Qinghua Lu, membro do painel.
Sobre o painel
O Painel Científico Internacional Independente sobre Inteligência Artificial foi estabelecido pela Assembleia Geral da ONU em agosto de 2025.
A organização produz relatórios anuais sobre as oportunidades, os riscos e os impactos da IA no domínio não militar, juntamente com notas temáticas sobre questões emergentes, que irão subsidiar o Diálogo Global sobre a Governança da Inteligência Artificial, a ser realizado na sede da ONU em Nova Iorque, em maio de 2027.
Folha de Florianópolis 
Comentários
Para comentar realize o login em sua conta!
Login Cadastre-se