A indústria de inteligência artificial (IA) está cada vez mais focada em questões de transparência e segurança, levando a debates intensos sobre o verdadeiro significado de "abertura". Especialistas da Endor Labs, uma empresa de segurança de código aberto, discutiram esses tópicos cruciais, destacando a necessidade de aplicar lições aprendidas com a segurança de software aos sistemas de IA.
Principais Conclusões
A transparência em IA é essencial para melhorar a segurança e a confiança do público.
O conceito de "aberto" em IA é complexo e carece de uma definição comum.
O "open-washing" é uma prática preocupante onde organizações afirmam ser transparentes, mas impõem restrições.
A adoção de modelos de IA de código aberto está crescendo, com muitas organizações preferindo essas opções em vez de alternativas comerciais.
Andrew Stiefel, Gerente Sênior de Marketing de Produto na Endor Labs, enfatizou a importância de um inventário detalhado dos componentes de software, conhecido como Bill of Materials (SBOM), que ajuda a detectar vulnerabilidades. Ele argumentou que aplicar esses princípios aos sistemas de IA é um passo lógico, proporcionando maior transparência sobre os conjuntos de dados, pesos e outros componentes dos modelos.
Julien Sobrier, Gerente Sênior de Produto, acrescentou que a categorização de sistemas de IA como verdadeiramente abertos é complexa. Ele destacou que um modelo de IA é composto por muitos elementos, incluindo o conjunto de treinamento e os programas utilizados para treinar e testar o modelo. A falta de consistência entre os principais players do setor tem gerado confusão sobre o que significa ser "aberto".
Sobrier alertou para o risco do "open-washing", onde empresas afirmam ser transparentes, mas impõem restrições comerciais. Ele citou o exemplo de provedores de nuvem que oferecem versões pagas de projetos de código aberto sem contribuir de volta para a comunidade.
A Iniciativa da DeepSeek
A DeepSeek, uma empresa emergente na indústria de IA, tomou medidas para abordar essas preocupações, tornando partes de seus modelos e códigos de código aberto. Essa iniciativa foi elogiada por promover a transparência e fornecer insights de segurança. Stiefel mencionou que a DeepSeek já liberou seus modelos e pesos como código aberto, o que facilitará a auditoria de seus sistemas em busca de riscos de segurança.
Além disso, a DeepSeek oferece um roteiro sobre como gerenciar a infraestrutura de IA em grande escala, o que pode ajudar a mitigar preocupações de segurança que surgiram após a descoberta de bancos de dados não seguros.
A Adoção de IA de Código Aberto
A crescente adoção de modelos de IA de código aberto está alinhada com uma tendência mais ampla no setor. Um relatório da IDC revelou que 60% das organizações estão optando por modelos de IA de código aberto para seus projetos de IA generativa. A pesquisa da Endor Labs indica que as organizações utilizam, em média, entre sete e vinte e um modelos de código aberto por aplicação.
Sobrier destacou a necessidade de avaliar as dependências dos modelos de IA, enfatizando que as empresas devem garantir que estão legalmente autorizadas a usar esses modelos e que são seguros em termos de riscos operacionais e de cadeia de suprimentos.
Abordagem Sistemática para Gerenciar Riscos
À medida que a adoção de IA de código aberto acelera, a gestão de riscos se torna cada vez mais crítica. Stiefel delineou uma abordagem sistemática centrada em três etapas principais:
Descoberta: Detectar os modelos de IA que sua organização atualmente utiliza.
Avaliação: Revisar esses modelos em busca de riscos potenciais, incluindo preocupações de segurança e operacionais.
Resposta: Estabelecer e impor diretrizes para garantir a adoção segura e segura dos modelos.
Sobrier argumentou que a comunidade deve desenvolver melhores práticas para a construção e adoção seguras de modelos de IA, criando uma metodologia compartilhada para avaliar modelos de IA em parâmetros como segurança, qualidade e riscos operacionais.
A indústria de IA deve adotar controles que operem em várias frentes para garantir um crescimento responsável, evitando a complacência diante do rápido progresso da tecnologia.