Equipe vermelha dedicada de IA do Formulários Google para proteger a IA

Aug 02, 2023

O Google criou uma equipe vermelha especializada em IA para enfrentar os desafios de segurança exclusivos apresentados pelos sistemas de aprendizado de máquina (ML). A equipe vermelha de IA se concentra em investigar e expor vulnerabilidades em tecnologias orientadas por IA. Ao contrário das equipes vermelhas tradicionais, a equipe vermelha de IA requer um conhecimento profundo da tecnologia de aprendizado de máquina. Ele combina as habilidades de indivíduos que podem invadir sistemas e envenenar modelos. Ao combinar essas habilidades, a equipe é capaz de proteger efetivamente as implantações de IA.

A equipe vermelha de IA acompanha de perto novas pesquisas adversárias em campo e monitora onde o Google integra IA em seus produtos. Eles priorizam exercícios que simulam ataques adversários com objetivos específicos em mente. Os resultados destes exercícios são documentados e partilhados com as partes interessadas relevantes, permitindo-lhes abordar e resolver quaisquer problemas que sejam descobertos. A equipe adota uma abordagem ampla para aplicar as lições aprendidas com esses exercícios para melhorar a segurança de todos os produtos.

Para direcionar as implantações de IA, a equipe vermelha de IA configura cenários que descrevem o invasor simulado, suas capacidades e seus objetivos. Eles contam com inteligência sobre ameaças e sua compreensão do espaço para criar cenários de ataque realistas. Semelhante às equipes vermelhas de segurança, atingir as metas geralmente requer várias etapas.

A colaboração entre a equipe vermelha de IA e especialistas em IA é crucial para a criação de simulações adversárias realistas. A equipe vermelha de IA pode trabalhar com a equipe vermelha de segurança para obter acesso interno específico necessário para determinados exercícios. Por exemplo, a equipe vermelha de segurança pode comprometer um funcionário para obter acesso a sistemas internos e, então, a equipe vermelha de IA teria como alvo um modelo de ML para inserir um backdoor.

Abordar as descobertas da equipe vermelha pode ser desafiador, pois alguns ataques podem não ter soluções simples. O Google prioriza a segurança e a privacidade de seus usuários e não lançará um novo recurso se isso não puder ser feito com segurança. A equipe vermelha da IA ​​colabora estreitamente com equipes de pesquisa internas para desenvolver novas abordagens para resolver os problemas identificados. As mitigações de segurança clássicas, como restrições de acesso e validação de entrada/saída, também são eficazes na redução do risco. Os esforços da equipe vermelha de IA ajudam a gerar visibilidade e investimento em segurança de ML.