Cientistas de segurança revelaram uma nova técnica ofensiva denominada GuardBreaker, utilizada por um grupo de ameaças alinhado à Rússia conhecido como UAC-0099. O objetivo principal desta campanha é interferir na análise assistida por inteligência artificial (IA), especificamente manipulando mecanismos de segurança de Grandes Modelos de Linguagem (LLMs) para evitar detecções automáticas.
O que é a técnica guardbreaker
A técnica consiste em inserir prompts deliberadamente projetados para ativar gatilhos de segurança dos modelos de IA, fazendo com que eles recusem respostas legítimas ou gerem saídas corrompidas. Ao tripar esses mecanismos de segurança, os atacantes buscam cegar ferramentas de análise automatizada usadas por equipes de resposta a incidentes e analistas de segurança.
Essa abordagem representa uma evolução na guerra contra a automação de segurança. Se os LLMs usados para triagem de alertas forem enganados, a eficiência do SOC diminui, permitindo que atividades maliciosas passem despercebidas por períodos prolongados.
Riscos para governança de ia corporativa
Para CISOs e líderes de tecnologia, o surgimento do GuardBreaker sinaliza riscos diretos à governança de IA. Organizações que implementam LLMs para análise de logs, classificação de ameaças ou geração de relatórios de conformidade precisam revisar suas políticas de prompt injection.
A dependência de IA para decisões de segurança cria um novo vetor de ataque. Se o modelo for comprometido, toda a cadeia de decisão baseada nele fica vulnerável. É essencial implementar validações humanas e múltiplas fontes de verdade antes de confiar exclusivamente em saídas de IA.
Evidências da campanha uac-0099
A ESET documentou o uso dessa técnica contra alvos na Ucrânia. Os relatórios indicam que os atacantes utilizam variações de prompts para testar a resiliência dos modelos de segurança. A persistência da campanha sugere que o UAC-0099 está focado em desestabilizar operações de defesa cibernética adversária.
Os indicadores de comprometimento incluem padrões específicos de requisição de API para modelos de linguagem e tentativas de injeção de prompts complexos que contornam filtros padrão.
Medidas de mitigação recomendadas
Equipes de segurança devem adotar estratégias de defesa em profundidade para ambientes de IA:
- Filtragem de Entrada: Implemente validação rigorosa de prompts antes de enviá-los aos modelos.
- Monitoramento de Saída: Audite as respostas dos LLMs para detectar anomalias ou recusas suspeitas.
- Human-in-the-loop: Mantenha revisão humana para decisões críticas baseadas em IA.
Perguntas frequentes
Isso afeta apenas modelos públicos? Não, modelos privados implantados localmente também são suscetíveis se não houver camadas de proteção adequadas.
Como identificar um ataque GuardBreaker? Procure por padrões repetitivos de prompts que visam gatilhos de segurança conhecidos.