Praetorian lançou o Augustus, um scanner open‑source projetado para avaliar a segurança de modelos de linguagem e serviços de LLM com mais de 210 modos de ataque.
O que é Augustus
Conforme divulgado pelo Cyber Security News, Augustus é uma ferramenta compilada como binário Go único, pensada para integração em fluxos de trabalho de pentest e CI/CD. O projeto vem com uma biblioteca de mais de 210 probes cobrindo 47 categorias de ataques — jailbreaks, prompt injection, extração de dados e exemplos adversariais — e suporta 28 provedores de LLM, incluindo OpenAI, Anthropic, Azure, AWS Bedrock e Google Vertex AI, além de engines locais como Ollama.
Funcionalidades relevantes
- Arquitetura single‑binary: reduz dependências e facilita execução em ambientes de produção.
- Paralelismo: usa goroutines para varredura massiva e eficiente.
- Sistema "Buff": permite transformar probes dinamicamente (paráfrase, tradução, encodings) para testar robustez de guardrails.
- Exportação de resultados: JSON, JSONL e HTML para integração com vulnerabilidade management e relatórios.
Implicações para equipes de segurança
Augustus tenta preencher uma lacuna operacional: muitas ferramentas acadêmicas são difíceis de integrar em pipelines. A disponibilidade como binário e o suporte amplo a provedores tornam o Augustus utilitário para times que precisam automatizar testes adversariais em modelos antes do deploy.
Limitações e o que falta
A cobertura da matéria indica que Augustus é oferecido sob licença Apache 2.0 e está disponível no GitHub, mas não detalha métricas de cobertura de testes por provedor ou impactos de custo/limitação de quotas em provedores comerciais — detalhes que equipes que vão executar varreduras em escala precisarão avaliar localmente.
Recomendações práticas
- Integrar varreduras de Augustus em pipelines de CI/CD para testar regressões de segurança ao atualizar prompts ou modelos.
- Executar testes com quotas e rate limits dos provedores para evitar bloqueios por abuso.
- Exportar resultados para triagem e rastreamento em sistemas de gerenciamento de vulnerabilidades.
Conclusão: Augustus representa avanço operacional no arsenal de segurança para IA, ao levar centenas de probes adversariais para um formato portátil e mais fácil de integrar nos controles de qualidade de modelos.