Governar agentes de IA antes que cheguem à produção

Existe um momento em todo projeto de agente que passa despercebido: o dia em que a coisa deixa de propor e começa a fazer. Antes dele, o pior resultado possível é um texto errado, que alguém lê e descarta. Depois dele, o pior resultado é um efeito no mundo. Essa fronteira raramente aparece num plano de projeto, e é a única que importa do ponto de vista de governança.

Já escrevemos que Secure AI é um problema de engenharia e que o risco está no caminho, não no modelo. Este texto trata de um caso específico desse caminho: o agente que executa ações em sequência, com iniciativa própria, ao longo do tempo. Um agente não é uma funcionalidade nova — é um ator novo dentro da empresa. E o que se decide antes de ele entrar em produção é praticamente tudo o que se pode decidir, porque escopo, autorização, reversibilidade e registro não se acrescentam a um ator que já está agindo.

Um agente é um principal, não uma funcionalidade

Tratá-lo como ator tem consequências imediatas e chatas. Ele tem um dono: uma pessoa com nome que responde pelo que ele fez. Tem uma função definida, um tempo de vida e uma forma de ser desativado. A maioria dos projetos não tem nada disso, porque o agente chega como recurso dentro de uma aplicação, e recursos não têm dono no sentido em que atores têm. O teste é rápido: pergunte quem responde por uma ação que o agente executou na semana passada e observe quanto tempo leva a resposta. Se a primeira reação for procurar quem construiu, o agente não tem dono — tem autor.

Como ator, ele também precisa ser descrito por efeitos, e não por capacidades. O que ele pode causar no mundo é aprovável ou recusável por quem responde pelo negócio; a lista de ferramentas que ele tem não é, e além disso muda toda semana. Um escopo escrito como lista de ferramentas é ilegível justamente para quem precisaria autorizá-lo, e o resultado previsível é uma autorização dada por confiança na equipe em vez de compreensão do risco.

Escopo é sobre efeito, e efeito se compõe

A propriedade que distingue um agente de um sistema de chamada única é a sequência. Cada ação pode estar individualmente permitida e a composição delas ser algo que ninguém teria autorizado: ler aqui, resumir ali, enviar para fora. O modelo de permissão avalia uma chamada por vez; o risco vive no caminho inteiro, que nenhuma das avaliações enxerga.

Cada passo autorizado, a sequência inteira jamais examinada: é assim que um agente faz, em silêncio, o que ninguém teria aprovado de uma vez.

A consequência prática é que alguns limites precisam ser por tarefa, e não por chamada — quanto pode ser gasto, quanto dado pode sair, para quantos destinatários externos, que amplitude de registros pode ser tocada. E precisa existir uma condição de parada quando a tarefa excede o próprio orçamento, decidida no desenho e não descoberta num painel depois. Há um segundo problema de composição, menos discutido: o estado do próprio agente. Um agente que carrega memória entre tarefas acumula conteúdo de contextos anteriores, e conteúdo de uma tarefa anterior não é instrução confiável para a próxima. Memória precisa ter procedência e prazo, como uma credencial. O mesmo vale quando a saída de um agente vira entrada de outro: conteúdo não confiável atravessa uma fronteira que parece interna e não é.

O que precisa estar decidido antes

Não estamos propondo um documento de política. Estamos propondo uma porta de admissão: um conjunto de respostas que precisa existir antes do primeiro efeito real, porque cada uma delas é barata agora e impossível de instalar depois.

1. 01Que efeitos este agente pode causar, escritos como o negócio os entende, e quais foram explicitamente excluídos.
2. 02Sob qual identidade ele age: um principal próprio, com autoridade delegada, escopo e prazo — nunca a credencial de quem o construiu.
3. 03O que é reversível, o que é cancelável dentro de uma janela e o que é definitivo. A terceira categoria é curta, e é ela que exige confirmação humana, definida pelo efeito e não pela confiança declarada do modelo.
4. 04O que fica registrado no instante da ação, sabendo que a execução não é reproduzível por repetição e que reconstruir depois é impossível.
5. 05Como ele é interrompido: quem pode parar, em quanto tempo, e em que estado o sistema fica se a parada acontecer no meio de uma sequência.
6. 06Como ele é desligado para sempre, incluindo o destino das credenciais e do trabalho que passou a depender dele.

Os dois últimos são os que se pulam. Um botão de parada que nunca foi pressionado é uma hipótese, e pressioná-lo no meio de uma sequência deixa estado parcial — o que significa que a sequência precisa ter sido desenhada para ser interrompível: pontos de retomada, passos idempotentes, um estado intermediário que alguém sabe descrever. Parar um agente não pode ser um problema operacional maior do que aquilo que motivou a parada, porque, se for, ninguém para.

Testar um ator, não uma função

O teste também muda de forma, porque não há como enumerar entradas. O que se pode fazer é rodar o agente contra um ambiente realista com os efeitos capturados em vez de aplicados, por tempo suficiente para observar as sequências que ele de fato escolhe — e a surpresa nunca está na ação individual, está no caminho. Inclui-se contexto adversarial de propósito, porque o conteúdo que ele lê vai eventualmente conter instruções endereçadas a ele. E a pergunta da revisão não é se a saída estava certa: é se as ações que ele quis tomar estavam dentro do escopo que foi escrito.

A autonomia não devia crescer porque as confirmações cansaram. Devia crescer porque alguém escreveu antes o que precisaria ser verdade para ela crescer.

Nada disso exige desacelerar o uso de agentes, e não é um argumento contra eles. Exige decidir, antes do primeiro efeito real, quatro coisas que são baratas agora e impossíveis de retroajustar: o que ele pode causar, sob autoridade de quem, o que pode ser desfeito e o que fica escrito. Um agente admitido em produção sem essas respostas não fica sem governança — ele fica governado por quem editou o prompt por último, que é um modelo de governança que ninguém assinaria se lhe pedissem por escrito.