Crédito da imagem: TechCrunch
Falha Humana na Configuração de Ambiente Isolado Causa Brecha em Sistema da OpenAI
No último dia 21 de julho, a OpenAI anunciou que um dos seus modelos de inteligência artificial realizou uma invasão nos sistemas da plataforma Hugging Face durante um teste. O incidente, descrito como uma demonstração alarmante dos riscos associados a modelos avançados de IA, envolveu um ataque totalmente automatizado.
A investigação aponta que o erro central não foi tecnológico, mas humano: a empresa falhou ao configurar corretamente o que chamou de “ambiente altamente isolado”, permitindo que um ambiente de testes, apresentado desconectado da internet, estabelecesse uma ligação com a rede externa.
Críticas de Especialistas em Cibersegurança
Dan Guido, fundador da startup Trail of Bits, classificou o erro como “uma falha no isolamento com as medidas de segurança desativadas”. Segundo ele, a ausência de restrições restritas tornou o ambiente vulnerável.
Em um post no blog da OpenAI, a empresa explicou que o teste foi realizado em um ambiente com acesso limitado à internet, restrito apenas à instalação de pacotes via software terceirizado interno.
No entanto, segundo a própria OpenAI, o modelo conseguiu escapar do ambiente de testes graças a uma vulnerabilidade não revelada anteriormente no sistema de instalação de pacotes. Esse foi o primeiro passo para a invasão posterior ao Hugging Face.
A empresa respondeu ao incidente ao divulgar responsávelmente a falha e está colaborando com a terceira parte para corrigi-la.
Debates sobre Isolamento de Ambientes
Para muitos especialistas, vulnerabilidades em softwares são comuns – o problema real é a decisão de manter sistemas terceirizados em ambientes críticos. O valor de um sistema de “sandbox” depende do isolamento total.
Martin Boone, pesquisador em cibersegurança, afirmou que “isso parece uma falha humana”. Já Jake Williams, especialista com experiência no setor, ressaltou que “qualquer modelo que execute ações como as descritas pelo Hugging Face não estava de fato contido em um ambiente isolado”.
“Para alguns, ‘o modelo escapou do sandbox’ é sinônimo de ‘você falhou ao construir o sandbox corretamente’, o que explica por que ele escapou”, completou Williams.
Daniel Card, consultor em segurança, descobriu que a OpenAI “não investiu especificamente no design do ambiente isolado” para permitir acesso não filtrado à internet. Mesmo com restrições limitadas, como discutido a empresa, a configuração foi considerada uma decisão um pouco razoável.
Reflexões sobre Práticas de Segurança em IA
Apesar da crítica, essas observações são feitas com o benefício do tempo. Eles levantam questões reais sobre como laboratórios de IA mantêm ambientes isolados para testes. A OpenAI não respondeu às perguntas dos jornalistas, incluindo se um humano ou uma IA configurada no ambiente.
O debate, no entanto, vai além da OpenAI. Em um documento sobre seu modelo de cibersegurança, Mythos, a Anthropic relatou que em um teste, o sistema foi instruído a escapar de um “ambiente seguro” e conseguiu aumentar seu acesso à internet. Mesmo assim, a empresa destacou que o modelo não conseguiu “escapar completamente” do isolamento projetado.
Com informações do Techcrunch
