Introdução
A inteligência artificial generativa está sendo integrada cada vez mais profundamente nos fluxos de trabalho corporativos, especialmente em funções de atendimento ao cliente. No entanto, uma nova pesquisa de segurança revela que esses bots podem ser manipulados para realizar ações prejudiciais, como revelar códigos de segurança, acessar dados sensíveis e até mesmo agir como vítimas de ataques de engenharia social. A pesquisa destaca que atacantes não precisam mais depender de scanners de vulnerabilidade tradicionais ou exploração direta de aplicativos para comprometer sistemas.
Em vez disso, eles podem manipular os dados e as mensagens que um agente de IA recebe, fazendo com que ele revele informações confidenciais ou execute ações como um cliente legítimo. Este relatório detalha os vetores de ataque, as evidências técnicas e as medidas de mitigação recomendadas para CISOs e equipes de SOC.
Descoberta e escopo
Os bots de atendimento ao cliente alimentados por IA estão recebendo mais responsabilidade dentro das empresas, incluindo acesso a perfis de clientes, dados de faturamento, caixas de entrada de suporte, alterações de conta e ferramentas de reembolso. A pesquisa mostrou que atacantes podem não precisar de scanners de vulnerabilidade tradicionais ou exploração direta de aplicativos.
Em vez disso, eles podem manipular os dados e as mensagens que um agente de IA recebe, fazendo com que ele revele informações confidenciais ou execute ações como um cliente legítimo. Um dos principais riscos envolve os recursos de transcrição de chatbots. Muitos bots de suporte permitem que os usuários enviem por e-mail uma cópia de uma conversa. Um atacante poderia injetar texto malicioso em uma sessão de chat e usar a função de transcrição para criar um e-mail de phishing que parece vir de um endereço de suporte confiável.
Se um cliente receber uma mensagem de support@company.com, ele pode confiar mais nela do que em uma tentativa de phishing normal. As falhas de spoofing de e-mail podem piorar o problema. Alguns agentes de IA identificam usuários lendo o cabeçalho From visível em um e-mail recebido. No entanto, os sistemas de entrega e autenticação de e-mail podem validar um campo de remetente diferente.
Vetor e exploração
Em um cenário de ataque, um agente de atendimento ao cliente de IA pode receber um pedido que parece vir de uma vítima. O bot pode então recuperar dados de faturamento, informações de perfil ou detalhes da conta. Se o atacante adicionar seu próprio endereço ao campo CC ou de resposta, o bot pode enviar acidentalmente a resposta confidencial ao atacante.
Um pesquisador de segurança, Inti De Ceukelaire, alertou no Bug Bounty Village durante o DEF CON 34 que essas capacidades podem ser abusadas por meio de truques de e-mail, injeção de prompt, confusão de identidade e verificações de autenticação fracas. A pesquisa também destacou riscos em torno da autenticação de múltiplos fatores. Alguns bots exigem um código de uso único antes de fazer alterações sensíveis, como atualizar um número de telefone.
Mas a normalização fraca de e-mail às vezes pode permitir que atacantes redefinam os limites de taxa alterando o formato de um endereço de e-mail, ainda que apontando para a mesma caixa de correio. Por exemplo, sistemas diferentes podem tratar comentários, aliases ou formatação incomum em um endereço de e-mail de maneira diferente. Um componente pode reconhecer o endereço como pertencente ao atacante.
Enquanto isso, outro serviço backend pode analisar dados incorporados de maneira diferente e recuperar a conta de uma vítima. Esse tipo de falha é especialmente perigoso quando a entrada bruta do usuário é inserida diretamente em solicitações de API. Agentes de IA conectados a caixas de entrada de suporte também podem expor códigos de conta de terceiros.
Evidências e limites
Um atacante pode primeiro enviar uma instrução projetada para influenciar o comportamento do bot. Eles podem então acionar um e-mail de redefinição de senha legítimo de outro serviço, como uma plataforma de mídia social, para a caixa de entrada de suporte da empresa. Se o agente de IA ler o código recebido e seguir a instrução maliciosa anterior, ele pode encaminhar ou vazar o código para a infraestrutura controlada pelo atacante.
A aprovação humana nem sempre impede esses ataques. Um operador humano e um agente de IA podem processar versões diferentes do mesmo e-mail. Atacantes podem usar mensagens multipartes, HTML oculto, estilização CSS, respostas citadas ou anexos formatados especialmente para apresentar uma mensagem inofensiva para um humano, enquanto expõem uma instrução maliciosa ao sistema de IA.
A envenenamento da base de conhecimento é outra preocupação crescente. Agentes de atendimento ao cliente frequentemente usam geração aumentada por recuperação para responder a perguntas a partir da documentação da empresa. Se um crawler indexar comentários da comunidade, perfis de usuários ou páginas não confiáveis no domínio da empresa, atacantes podem plantar instruções falsas ou códigos de desconto falsos que a IA trata como informações internas confiáveis.
Medidas de mitigação recomendadas
Organizações que implantam agentes de IA de suporte devem separar estritamente o conteúdo não confiável do cliente das instruções do sistema. Eles devem autenticar usuários com controles de identidade baseados em sessão verificados, normalizar endereços de e-mail de forma consistente, validar todas as solicitações de ferramentas no lado do servidor e impedir que bots enviem segredos para destinatários não verificados.
Agentes de IA também devem ter permissões limitadas. Um chatbot que pode ler e-mails, modificar contas, emitir reembolsos e acessar códigos de verificação de terceiros cria um alvo de alto valor. As empresas devem tratar agentes de IA como sistemas de automação privilegiados, não apenas como interfaces conversacionais.
Recomenda-se a implementação de monitoramento de comportamento de IA para detectar anomalias nas interações. Além disso, a revisão de segurança de modelos de linguagem grandes (LLMs) deve incluir testes de injeção de prompt e validação de saída. A segregação de dados entre o ambiente de produção e o de desenvolvimento é crucial para evitar vazamentos de contexto.
O que os CISOs devem fazer imediatamente
1. Auditar todos os agentes de IA em produção para identificar capacidades de acesso a dados sensíveis.
2. Implementar controles de autenticação robustos que não dependam apenas de cabeçalhos de e-mail visíveis.
3. Estabelecer políticas de normalização de e-mail que previnam a exploração de formatação.
4. Treinar equipes de SOC para identificar padrões de injeção de prompt em logs de IA.
5. Revisar contratos de fornecedores de IA para garantir cláusulas de responsabilidade em caso de violação de dados.
Perguntas frequentes
Como posso proteger meus bots de IA? Implemente validação de entrada rigorosa, limite permissões e monitore interações anômalas.
Isso afeta apenas grandes empresas? Não, qualquer organização usando IA para atendimento ao cliente está em risco.
Qual é o impacto de um ataque bem-sucedido? Vazamento de dados, perda de confiança e possíveis violações de conformidade regulatória.