Do volume de alertas à qualidade da decisão

Um programa de detecção é fácil de justificar e ainda mais fácil de expandir. Cada nova fonte de dado parece um ganho de visibilidade; cada nova regra parece uma lacuna a menos. Isoladamente, cada acréscimo é defensável, e é por isso que nenhuma dessas decisões é discutida com rigor: nenhuma delas, sozinha, parece merecer discussão.

O produto de um programa de detecção, porém, não é alerta. É decisão: alguém que olha, entende e faz algo a tempo. Alerta é insumo, e insumo em excesso vira desperdício quando a capacidade de decidir é fixa, humana e trabalha em turnos. Uma fila que ninguém consegue ler produz a mesma cegueira de não ter detecção nenhuma — com a diferença de consumir orçamento, ocupar pessoas e parecer prudência para quem olha de fora.

Cobertura é uma métrica que se compra

Cobertura é atraente porque é comprável e apresentável: mais fontes, mais regras, mais uma linha preenchida numa matriz. Nada nessa métrica mede se alguma coisa foi decidida. E o incentivo corre num sentido só: acrescentar uma regra é seguro e parece diligência, enquanto remover uma exige que alguém afirme, com o nome junto, que aquela classe de evento não merece atenção. Ninguém quer ser essa pessoa depois de um incidente. Então a fila só cresce, e cresce por acúmulo de decisões prudentes.

O resultado é que a política real de triagem deixa de ser escrita e passa a ser tácita. Os analistas aprendem quais alertas se lê na diagonal e quais se abre de verdade. Esse conhecimento é real, costuma estar certo, não está registrado em lugar nenhum, nunca foi revisto por ninguém e vai embora com quem sai. É uma decisão de não agir sobre uma classe inteira de eventos, tomada por padrão e não por desenho — exatamente o tipo de decisão que a organização acredita ter evitado ao comprar mais detecção.

O caso, não o evento

A unidade de trabalho deveria ser o caso, e não o evento. Um evento diz o que aconteceu num ponto; um caso diz o que está acontecendo com uma entidade — uma identidade, um equipamento, um cliente, um caminho de transação. Correlação é o que transforma uma sequência de eventos individualmente banais numa forma que alguém consegue reconhecer. Sem ela, cada analista reconstrói o contexto à mão, toda vez, e essa reconstrução passa a ser o trabalho — o mais caro, o mais lento e o menos registrado de todos.

Dez eventos sem relação entre si custam dez leituras e não produzem nenhuma conclusão. Os mesmos dez, reunidos em torno de uma identidade, costumam produzir uma.

Tratar o caso como unidade tem consequências concretas de engenharia. O enriquecimento acontece antes do humano, e não durante: quem é esta identidade, o que ela costuma fazer, a que ela tem acesso e aonde isso levaria. A deduplicação e o agrupamento são código, não disciplina do analista. E o caso carrega a própria história, de modo que a reincidência fica visível — porque uma fila sem memória cobra o custo integral da investigação a cada repetição do mesmo problema, e ninguém percebe que é o mesmo.

Ordenar por consequência material

A severidade é normalmente atribuída por quem escreveu a detecção, no momento em que a escreveu, em abstrato. A ordenação de que a operação precisa é outra: o que precisaria ser verdade para isto importar, e quanto importaria. Quatro perguntas dão a um alerta o lugar dele na fila, e a primeira delas remove mais itens do que qualquer ferramenta de ajuste:

• —O que este alerta permite decidir? Se a única resposta possível é registrar, ele não pertence a uma fila humana.
• —O que ele alcança, se for verdadeiro: que dado, que sistema, que cliente. A consequência é do ativo, não da regra.
• —Qual é a ação, e quem tem autoridade para executá-la sem pedir permissão? Sem isso, o alerta é um pedido de reunião.
• —Já vimos isto antes, e o que foi feito? Sem essa resposta, cada ocorrência custa o preço da primeira.

Segue daí que boa parte da detecção deve existir sem nunca chegar a uma pessoa: como número num relatório, como tendência acompanhada, como resposta automática com registro. Decidir o que não chega a um humano é atividade de engenharia com dono e data de revisão, exatamente como calibrar um limiar — e precisa ficar registrada, porque uma detecção que deixou de acordar alguém é uma alteração no controle. Silenciar sem registrar é como remover uma proteção sem dizer a ninguém que ela existia.

O custo humano é um custo de projeto

Fadiga não é um tema de clima organizacional; é uma restrição de engenharia. A atenção se degrada com o volume de maneira previsível, e a fila é um sistema com capacidade humana fixa, com turno da madrugada e com dias em que falta gente. Um desenho que exige vigilância sustentada sobre um fluxo ruidoso é um desenho que assumiu, sem verificar, uma propriedade que pessoas não têm. A conta chega como rotatividade, e a rotatividade leva embora o conhecimento tácito de triagem descrito acima. O laço se fecha do pior jeito: quanto mais barulhenta a fila, mais depressa se perde quem sabia ignorá-la corretamente.

Nenhum programa de detecção é melhor do que a pior hora do plantão que o lê.

A medida que propomos é desconfortável porque não pode ser comprada: quantos casos produziram uma decisão, quanto tempo passou entre o evento e essa decisão, e que parte da fila nenhum humano leu. Esses números quase nunca são coletados, e a razão é compreensível — eles descrevem o programa como ele é, e não como foi aprovado. Mas são os únicos que respondem à pergunta que interessa. Detecção que não termina em decisão não é defesa: é a documentação de um evento, produzida a custo alto, para ser lida no pior dia possível.