小编Jeo*_*eof的帖子

最近，我遇到了数据挖掘机器人的一些问题，每天在一天中的某些时间从我的网站提取数据。这不仅会浪费我的带宽，还会向我的谷歌分析提供错误的数据。

他们通常使用 amazonaws IP 进入，但最近他们已切换到其他主机。

保持不变的是它们使用相同的用户代理。有没有办法阻止使用 useragent？这是因为我尝试过但失败了。希望我能从中得到启发。

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu HeadlessChrome HeadlessChrome Safari/537.36
RewriteRule .* - [R=503,L]

更新： 这是我更新的 .htaac​​ess，如果它对社区的外观有所帮助，仅供将来参考。谢谢怀特先生

<LocationMatch .*>
  <IfModule mod_security2.c>
    SecRuleRemoveById 211170
    SecRuleRemoveById 211180    
  </IfModule>
</LocationMatch>


Options +FollowSymlinks

Options -Indexes

<FilesMatch "(?i)((\.tpl|\.ini|\.log|(?<!robots)\.txt))">
 Require all denied
</FilesMatch>

# SEO URL Settings
RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} "=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu HeadlessChrome HeadlessChrome Safari/537.36"
RewriteRule .* - [F]

RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=extension/feed/google_sitemap [L] …