A nova ferramenta de código aberto da Microsoft pode impedir que sua IA seja hackeada
A Microsoft lançou uma ferramenta de código aberto chamada Counterfit que ajuda os desenvolvedores a testar a segurança dos sistemas de inteligência artificial (IA).
A Microsoft publicou o projeto Counterfit no GitHub e aponta que um estudo anterior realizado descobriu que a maioria das organizações não tem as ferramentas para lidar com o aprendizado de máquina contraditório.
“Essa ferramenta nasceu de nossa própria necessidade de avaliar os sistemas de IA da Microsoft para vulnerabilidades com o objetivo de proteger proativamente os serviços de IA, de acordo com os princípios responsáveis de IA da Microsoft e a iniciativa De Estratégia de IA Responsável em Engenharia (RAISE)”, diz a Microsoft em um blogpost.
A Microsoft descreve a ferramenta da linha de comando como uma “ferramenta de automação genérica para atacar vários sistemas de IA em escala” que as operações da equipe vermelha da Microsoft usam para testar seus próprios modelos de IA. A Microsoft também está explorando o uso do Counterfit na fase de desenvolvimento de IA.
A ferramenta pode ser implantada via Azure Shell a partir de um navegador ou instalada localmente em um ambiente Anaconda Python.
A Microsoft promete que a ferramenta da linha de comando pode avaliar modelos hospedados em qualquer ambiente de nuvem, no local ou em redes de borda. O counterfit também é agnóstico de modelo e se esforça para ser agnóstico de dados, aplicável a modelos que usam texto, imagens ou entrada genérica.
“Nossa ferramenta torna os algoritmos de ataque publicados acessíveis à comunidade de segurança e ajuda a fornecer uma interface extensível a partir da qual construir, gerenciar e lançar ataques em modelos de IA”, observa a Microsoft.
Esta ferramenta em parte poderia ser usada para evitar o aprendizado de máquina contraditório, onde um invasor engana um modelo de aprendizado de máquina com dados manipuladores, como o hack da McAfee com as câmeras MobileEye mais antigas,o que os enganou para interpretar mal o limite de velocidade colocando fita preta em sinais de velocidade. Outro exemplo foi o desastre do chatbot Tay da Microsoft,que viu o bot tuitando comentários racistas.
Seu fluxo de trabalho também foi projetado em linha com estruturas de ciber-segurança amplamente utilizadas, como Metasploit ou PowerShell Empire. “A ferramenta vem pré-carregada com algoritmos de ataque publicados que podem ser usados para iniciar operações da equipe vermelha para escapar e roubar modelos de IA”, explica a Microsoft.
A ferramenta também pode ajudar na varredura de vulnerabilidades sistemas de IA e na criação de logs para registrar ataques contra um modelo de destino. A Microsoft testou o Counterfit com vários clientes, incluindo a gigante aeroespacial Airbus, um cliente da Microsoft que desenvolve uma plataforma de IA em serviços de IA Azure.
“A IA é cada vez mais utilizada na indústria; é vital olhar para a frente para proteger essa tecnologia particularmente para entender onde os ataques espaciais de características podem ser realizados no espaço problemático”, disse Matilda Rhode, pesquisadora sênior de segurança cibernética da Airbus, em comunicado.
“A liberação de ferramentas de código aberto de uma organização como a Microsoft para que os profissionais de segurança avaliem a segurança dos sistemas de IA é bem-vinda e uma clara indicação de que a indústria está levando esse problema a sério.”