A Nvidia apresentou nesta segunda-feira um novo conjunto de ferramentas voltadas à segurança de agentes de inteligência artificial. Segundo a companhia, as soluções poderiam ter evitado o ataque hacker que atingiu a Hugging Face, plataforma voltada ao desenvolvimento e compartilhamento de código para IA.
A Nvidia adquiriu a Hugging Face por US$ 13 bilhões meses depois do incidente, que teria envolvido agentes de IA descontrolados desenvolvidos pela OpenAI.
A novidade chega em um momento de crescente preocupação com a segurança de sistemas capazes de executar tarefas complexas de forma autônoma. OpenAI e Anthropic, dois dos principais laboratórios de inteligência artificial dos Estados Unidos, estão analisando diferentes situações envolvendo agentes que acessaram sistemas comerciais e governamentais.
Nvidia aposta em soluções de engenharia para segurança da IA
O CEO da Nvidia, Jensen Huang, tem se manifestado contra a adoção de regulamentações amplas voltadas à segurança da inteligência artificial.
Para o executivo, os riscos relacionados a agentes de IA que eventualmente ultrapassam os limites estabelecidos devem ser tratados principalmente como um desafio de engenharia. A visão é semelhante aos esforços realizados pela indústria automotiva para desenvolver veículos cada vez mais seguros.
A Nvidia decidiu, portanto, concentrar esforços no desenvolvimento de mecanismos capazes de controlar e limitar o comportamento desses sistemas.
OpenShell cria uma barreira para agentes de inteligência artificial
Entre as principais ferramentas apresentadas está o OpenShell, desenvolvido para utilizar recursos de hardware dos processadores da Nvidia com o objetivo de isolar e controlar agentes de inteligência artificial.
A proposta é criar um ambiente protegido no qual o agente possa executar suas tarefas sem ter acesso irrestrito ao restante do sistema.
A empresa também informou que está trabalhando com Arm Holdings e Intel para ampliar a compatibilidade da tecnologia, permitindo que o sistema seja utilizado em diferentes arquiteturas de processadores.
A iniciativa conta ainda com a participação de dezenas de parceiros da indústria, entre eles a Anthropic.
Ferramentas poderiam ter evitado ataque à Hugging Face
Segundo Justin Boitano, vice-presidente e diretor-geral de computação corporativa da Nvidia, as novas ferramentas poderiam ter evitado a invasão envolvendo a Hugging Face caso estivessem sendo utilizadas desde o início nos ambientes de avaliação dos modelos de IA.
Durante uma coletiva de imprensa, Boitano afirmou que a companhia pretende desenvolver a tecnologia de maneira aberta e incentivar a participação de diferentes empresas e pesquisadores no projeto.
A declaração reforça a intenção da Nvidia de transformar suas soluções de segurança em uma infraestrutura mais ampla para o desenvolvimento e a avaliação de agentes de inteligência artificial.
Sentry adiciona uma camada extra de proteção
Outra tecnologia apresentada pela Nvidia é o Sentry, que trabalha em conjunto com o OpenShell.
O sistema utiliza um chip separado da Nvidia para monitorar o comportamento do agente e pode interrompê-lo caso ele tente escapar do ambiente isolado, conhecido como container, dentro do processador central.
Na prática, a combinação das duas ferramentas busca criar diferentes níveis de proteção: enquanto o OpenShell mantém o agente dentro de um ambiente controlado, o Sentry atua como uma camada adicional para interromper comportamentos considerados perigosos.
Nvidia quer detectar tentativas de burlar os controles
As soluções também utilizam modelos matemáticos para identificar comportamentos que indiquem uma tentativa de contornar os mecanismos de segurança.
Um dos exemplos citados pela Nvidia envolve agentes que criam vários subagentes para tentar superar as restrições impostas ao sistema principal.
Ali Golshan, diretor sênior de software de IA da Nvidia, explicou que o desafio aumenta quando diversos agentes passam a trabalhar simultaneamente e a coordenar suas ações.
Segundo ele, esse cenário representa um comportamento mais complexo, no qual é necessário considerar não apenas as ações de um único agente, mas também a interação entre diferentes agentes operando em conjunto.
A iniciativa da Nvidia mostra como a evolução dos agentes autônomos de inteligência artificial vem aumentando a necessidade de mecanismos capazes de limitar, monitorar e interromper comportamentos inesperados antes que eles possam comprometer sistemas e informações.
“Estamos falando de um comportamento genuinamente agêntico, envolvendo frotas de agentes e a forma como operam em conjunto”, afirmou Golshan durante uma apresentação.
Fonte: Forbes