Novo padrão experimental pode mudar a verificação de bots e crawlers

Um novo padrão experimental pode mudar a forma como sites verificam bots, crawlers e agentes automatizados. O Web Bot Auth foi apresentado como uma tentativa de permitir que servidores confirmem se uma requisição automatizada realmente vem do serviço que afirma representar.

A discussão foi destacada pelo Search Engine Journal em reportagem sobre uma nova documentação do Google. A proposta mira um problema antigo da web: bots podem copiar nomes e user agents de crawlers legítimos para mascarar sua identidade.

O que é Web Bot Auth

O Web Bot Auth é baseado em uma proposta chamada HTTP Message Signatures Directory. A ideia é criar um mecanismo padronizado para que serviços automatizados apresentem credenciais verificáveis sem depender de acordos manuais entre cada site e cada bot.

Na prática, o protocolo permite que uma requisição traga sinais criptográficos que o servidor pode validar. Em vez de confiar apenas em um nome declarado no user-agent, o site passa a ter um caminho para checar se aquele tráfego está associado ao serviço que diz representar.

Isso pode ajudar a separar crawlers legítimos de bots que tentam se passar por mecanismos de busca, agentes de IA, ferramentas de monitoramento ou outros serviços conhecidos.

Como a proposta funciona

O padrão usa arquivos de chaves em formato JSON Web Key Set, endereços padronizados dentro de .well-known e um novo header chamado Signature-Agent.

Esse header funciona como uma espécie de cartão de identidade digital. Ele aponta para o diretório de chaves do serviço, permitindo que o servidor receptor valide a assinatura da requisição.

A proposta não decide automaticamente se um bot é bom ou ruim. Ela apenas oferece um sinal mais forte sobre identidade. A decisão de permitir, limitar ou bloquear continua nas mãos do site.

Por que isso importa para SEO

Para SEO técnico, o tema é importante porque o tráfego automatizado está ficando mais complexo. Além de crawlers tradicionais, sites agora recebem bots de IA, agentes, scrapers, verificadores, ferramentas de monitoramento, plataformas de anúncios e sistemas de treinamento.

Bloquear tudo pode prejudicar visibilidade e integrações legítimas. Permitir tudo pode desperdiçar crawl budget, aumentar custos de infraestrutura, expor conteúdo e facilitar scraping abusivo.

Um padrão criptográfico de autenticação pode ajudar sites a criar políticas mais precisas para bots confiáveis e tráfego suspeito.

Ainda não substitui métodos atuais

O Web Bot Auth ainda está em fase experimental. A documentação destacada pelo Search Engine Journal alerta que nem todos os user agents do Google usam o protocolo e que o Google ainda não assina todas as requisições de agentes que participam do teste.

Por isso, a ausência de assinatura não deve ser usada automaticamente como prova de que um bot é malicioso.

A recomendação é continuar usando métodos tradicionais, como verificação por IP, DNS reverso e user-agent, em conjunto com o novo protocolo durante a transição.

Análise

A proposta aparece em um momento em que a web está tentando reorganizar a relação entre sites e máquinas. Antes, o problema principal era permitir ou bloquear mecanismos de busca. Agora, a lista inclui agentes de IA, crawlers de treinamento, ferramentas de resposta, bots comerciais e scrapers sofisticados.

O Web Bot Auth pode ser um passo importante porque desloca a confiança do campo declaratório para o campo verificável. Um bot não apenas diz quem é. Ele precisa provar.

Para administradores, SEOs técnicos e equipes de infraestrutura, a mudança exigirá atenção a logs, headers, regras de firewall, CDNs e políticas de acesso. A autenticação de bots tende a se tornar uma parte mais importante da governança de tráfego orgânico e automatizado.