Descoberta e escopo do projeto
O modelo de IA Claude Fable 5, da Anthropic, gerou um kernel Windows NT completo e inicializável, escrito em Rust, chamado ntoskrnl-rs, a partir de um diretório vazio em apenas 38 minutos de trabalho ativo do modelo. O projeto, documentado pelo pesquisador de segurança Matt Suiche e pela equipe de pesquisa de ameaças Tolmo, levanta questões profundas sobre a confiança em código gerado por IA e o futuro da segurança de infraestrutura crítica.
O kernel foi capaz de inicializar no emulador QEMU e passou em todos os 14 testes de autoverificação internos, demonstrando uma capacidade de raciocínio sistêmico não supervisionado que vai além da simples geração de código.
Capacidades de raciocínio do modelo
O que distingue este projeto da geração de código comum é a capacidade do Fable 5 de identificar e corrigir bugs de baixo nível durante a geração. O modelo detectou um bug de ordenação de sinalização de fim de interrupção (EOI) e um bug de emulação de nível de solicitação de interrupção (IRQL), corrigindo-os sem intervenção humana.
O modelo também deixou comentários arquitetônicos embutidos no código, explicando por que a ordenação de seletores GDT do NT corresponde ao formato MSR IA32_STAR, demonstrando raciocínio de ABI de longo alcance.
Implicações de segurança para a infraestrutura crítica
A capacidade de um modelo de IA produzir a Base de Computação Confiável (TCB) de um kernel x86_64 mais rápido do que qualquer equipe humana pode auditá-la representa um desafio significativo para a segurança. Até que ferramentas de verificação formal e testes de propriedade possam fechar essa lacuna, um kernel escrito por IA permanece um artefato de inicialização com correção desconhecida.
A correção desconhecida não tem lugar em uma TCB, pois a segurança do sistema depende da confiança no código que compõe a base da infraestrutura. A reescrita de kernels legados em C para Rust, impulsionada por IA, pode reduzir a superfície de ataque, mas introduz novos riscos de verificação.
Desafios de verificação e auditoria
O Fable 5 identificou caminhos de alto risco, como o handoff de bloqueio do dispatcher, spinlocks e filas DPC, recomendando ferramentas como loom para exploração exaustiva de concorrência e Miri para detecção de comportamento indefinido. No entanto, a verificação formal ainda é necessária para garantir a correção do código.
A lacuna entre a capacidade de autoria e a verificação é crítica. Um modelo pode produzir código funcional, mas a garantia de segurança requer auditoria humana e ferramentas de verificação robustas, que ainda não estão maduras para acompanhar a velocidade de geração de IA.
Impacto no desenvolvimento de software
O projeto demonstra que a IA pode acelerar significativamente o desenvolvimento de software de baixo nível, eliminando o gargalo de custo humano. Isso pode levar a uma reescrita em massa de pilhas de software legadas, mas exige novos processos de validação para garantir a segurança.
Organizações que adotam IA para desenvolvimento de software crítico devem estabelecer políticas rigorosas de revisão de código e verificação formal para mitigar os riscos de introdução de vulnerabilidades.
Recomendações para executivos e CISOs
Os executivos devem considerar os riscos de segurança associados ao uso de IA para desenvolvimento de software crítico. A implementação de ferramentas de verificação formal e a revisão humana de código gerado por IA são essenciais para garantir a integridade do sistema.
A adoção de IA deve ser acompanhada de uma estratégia de segurança que inclua monitoramento contínuo, testes de penetração e auditorias de código para identificar e mitigar vulnerabilidades.
Perguntas frequentes
O kernel gerado é seguro? O kernel é funcional, mas sua segurança não foi verificada formalmente, o que o torna inadequado para uso em produção sem auditoria adicional.
Como a IA pode afetar a segurança do software? A IA pode acelerar o desenvolvimento, mas introduz riscos de verificação que devem ser gerenciados com ferramentas e processos adequados.