必须避免奇怪的站点访问者用户代理吗？如果是如何？

Question

我正在使用共享主机。
我的网站显示“ERR_CONNECTION_REFUSED”。
所以我去看看我的（SSL）网站的访问者。
我发现“用户代理”列表中的常规名称不是常规名称，而是
显示 cpanel 访问者列表

"user agent Expanse indexes the network perimeters of our customers. If you have any questions or concerns, please reach out to: scaninfo@expanseinc.com"

我想知道这是否有害，如果是，
如何避免这种未知的用户代理？
我应该对“.htaccess”文件做些什么？
再一次，我使用的是共享主机（因此，我的可访问性有限）。

Answer 1

您访问网站时看到的内容ERR_CONNECTION_REFUSED与您在 cpanel 中看到的访问者无关。您的服务器配置/共享托管提供商可能存在不同的问题。

那个“访客”是一个互联网爬虫，很可能来自拥有 Expanse 的 Palo Alto Networks。长话短说，它不应该造成任何伤害。他们表示，他们的爬虫用于对互联网上的 URL 进行索引/分类和/或发现恶意内容。

我建议你忽略它，因为你无能为力 - 我假设他们有一些用于爬虫的 IP 范围，所以你无论如何也无法将所有这些 IP 列入黑名单。