Introdução
Um estudo conduzido pela consultoria Tech for Humans identificou uma fragilidade estrutural crítica na implementação de inteligência artificial no atendimento ao cliente, revelando que a mistura de instruções de negócio com regras técnicas de segurança pode elevar a taxa de erro da IA para 57,7%.
O levantamento analisou dezenas de milhares de execuções experimentais para entender por que assistentes baseados em modelos de linguagem vêm apresentando comportamentos extremos: ou deixam passar tentativas sofisticadas de manipulação, ou bloqueiam clientes legítimos por excesso de rigor.
O problema da arquitetura de decisão
Para Fernando Wolff, CEO da Tech for Humans, o problema não está apenas no modelo utilizado, mas na arquitetura que define como ele toma decisões. O mercado está focado em escolher o modelo mais avançado, mas ignora a engenharia de decisão. Quando você mistura regra de negócio com regra de segurança, você cria um conflito interno no sistema. A IA passa a julgar relevância como se fosse ameaça.
Essa confusão de camadas torna o modelo mais defensivo e aumenta a incidência de falsos positivos — bloqueios indevidos de usuários legítimos. Em ambientes de atendimento em larga escala, esse tipo de fricção pode impactar diretamente conversão, retenção e percepção de marca.
Quando proteger demais vira prejuízo
De acordo com o estudo, o erro começa quando a camada de segurança, conhecida como Guardrail, passa a atuar também como filtro de escopo comercial. Em vez de se limitar a bloquear riscos técnicos, como tentativas de manipulação de instruções ou vazamento de dados, ela passa a decidir o que é ou não pertinente ao negócio.
Guardrail não é filtro de assunto. Ele existe para proteger a integridade técnica do sistema. Quando você delega a ele a lógica de negócio, a chance de erro cresce exponencialmente. Na prática, essa sobrecarga torna o modelo mais defensivo e aumenta a incidência de falsos positivos.
Impacto direto na receita e experiência
O maior dilema das empresas hoje não é apenas evitar ataques. É escalar atendimento sem criar uma IA que bloqueia clientes legítimos por medo de errar. Se o sistema fica conservador demais, ele protege, mas prejudica a experiência. E experiência ruim tem impacto direto na receita.
A pesquisa também indica que a inclusão excessiva de contexto operacional dentro da camada de segurança pode aumentar o rigor do sistema, mas reduzir sua precisão. Quando você adiciona regras comerciais ao filtro técnico, o modelo tende a interpretar ambiguidades como ameaça. Isso eleva bloqueios desnecessários e cria atrito na jornada.
Proposta de separação de responsabilidades
Como alternativa, o estudo propõe uma separação clara de responsabilidades: a camada de segurança deve atuar exclusivamente na mitigação de riscos técnicos, enquanto o agente principal assume a gestão de escopo, regras de negócio e utilidade da interação.
Segurança precisa ser binária e técnica. Escopo é decisão semântica. Quando você separa essas duas dimensões, você reduz atrito e aumenta robustez ao mesmo tempo. A grande descoberta do estudo é que proteger melhor não significa bloquear mais. Significa arquitetar melhor.
Implicações para governança de IA
Para o mercado de tecnologia, os achados indicam que o debate sobre IA corporativa precisa avançar além da escolha do modelo e considerar com mais profundidade a arquitetura de segurança e governança de decisão. O futuro da IA empresarial não depende só de capacidade cognitiva. Depende de como organizamos responsabilidade, contexto e prioridade dentro do sistema.
O que os CISOs devem fazer agora
Executivos de segurança devem revisar as políticas de guardrails em seus sistemas de IA generativa. É crucial auditar se regras de negócio estão sendo injetadas indevidamente nas camadas de segurança. A prioridade deve ser a clareza na definição de limites entre o que é risco técnico e o que é decisão comercial.
Perguntas frequentes
- Qual a taxa de erro identificada? Até 57,7% quando há mistura de regras.
- O que é um guardrail? Camada de segurança que protege a integridade técnica do sistema.
- Como mitigar o risco? Separar responsabilidades entre segurança técnica e gestão de escopo.