Como bloquear os bots ruins usando .htaccess

Se você é proprietário de um site, provavelmente está bem ciente da importância da otimização de mecanismos de pesquisa (SEO). No entanto, o que muitos proprietários de sites não percebem é que existem bots rastejando a Internet que podem prejudicar o SEO e a funcionalidade geral do seu site. Os bots ruins podem prejudicar seu site de várias maneiras, como raspar seu conteúdo, enviar spam para seus formulários e até realizar ataques de DDoS.

Neste artigo, discutiremos como você pode usar .Htaccess para impedir que os bots ruins acessem seu site.

Identificar bots ruins

Antes que você possa bloquear os bots ruins, você precisa saber quais segmentar. Existem muitas ferramentas disponíveis que podem ajudá -lo a identificar os bots que estão acessando seu site. O Google Analytics, por exemplo, pode mostrar quais bots estão acessando seu site, com que frequência eles estão fazendo isso e quais páginas estão visitando.

Depois de identificar os bots que você deseja bloquear, você pode usar .htaccess para criar uma lista negra de agentes de usuários. Um agente do usuário é uma string que os bots usam para se identificar no seu site. Por exemplo, o Googlebot se identifica com a sequência do agente do usuário “Googlebot.”

Crie uma lista negra

Para criar uma lista negra de agentes de usuários, você pode usar o seguinte código em seu .Arquivo HTACCESS:

RewriteEngine no rewritecond %http_user_agent badbot1 [nc, ou] rewritocond %http_user_agent badbot2 [nc, ou] rewritecond %http_user_agent badbot3 re -siterule ^(http_user_agent badbot3 re -siterule ^(http_user_agent.*) $ - [f, l]

12345

RewriteEngine onrewritEcond %http_user_agent badbot1 [nc, ou] rewritecond %http_user_agent badbot2 [nc, ou] rewritecond %htp_user_agent badbot3RereleleRule ^(http_user_agent badbot3Rerelele ^(http_user_agent.*) $ - [f, l]

Neste exemplo, estamos usando o Reescreva diretiva para verificar se o Http_user_agent Cabeçalho combina um de nossos bots ruins. Se isso acontecer, usamos a Diretiva Rewriture para retornar um erro proibido 403.

O NC Sinalizador significa "nenhum caso", o que significa que a partida é insensível a minúsculas. O OU bandeira significa que estamos verificando várias condições e o eu bandeira significa que esta é a última regra a ser processada.

Teste o seu .arquivo htaccess

Depois de criar sua lista negra, é importante testar seu .arquivo htaccess para garantir que esteja funcionando como esperado. Você pode usar ferramentas como as ferramentas de webmaster do Google para monitorar o tráfego do seu site e garantir que os bots que você está segmentando estão sendo bloqueados.

Você também pode usar uma ferramenta como o Bad Bot Blocker para criar automaticamente uma lista de bots ruins para bloquear. Esta ferramenta atualizará automaticamente o seu .Arquivo Htaccess com uma lista de bots ruins, facilitando a proteção de seu site de bots nocivos.

Conclusão

Bloquear bots ruins é um passo importante para proteger seu site contra ataques maliciosos. Usando .Htaccess Para criar uma lista negra de agentes de usuários, você pode impedir que os bots nocivos acessem seu site e melhorem sua segurança geral. Lembre -se de monitorar regularmente o tráfego do seu site e atualizar sua lista negra conforme necessário para manter seu site protegido.