确定机器人是否正在抓取公用事业账单内容以及如何阻止它

Question

我为当地政府工作，该政府负责为用水和垃圾收集收费。我今天接到一位客户打来的电话，说一家“纽约公司”打电话给他，要求提供他的客户号码和密码，以便他们访问他的在线帐户，以便他们可以从网站上“抓取”他的用水量。他们显然是出于某种他不记得的原因从几间公寓收集了这些信息。当然，这引起了我的注意，我告诉他不要向他们提供这些信息。我还告诉他，如果他们回电告诉这家公司，他们可以在需要时直接与我们联系以获取此信息。

现在，如果我们的一位客户接到电话，我认为可以安全地假设其他人接到了相同或类似的电话，他们可能已经或可能没有提供此信息。如何检查我们的日志以查看是否有机器人访问我们的网站并抓取我们的数据？我也觉得我们应该阻止那个机器人并阻止进一步的尝试。

注意：存储在网络服务器上的唯一信息是客户的姓名和地址、用水量和账单费用以及应付总额。他们也可以支付账单。我们不会在线存储任何帐户信息。所以总的来说，网络服务器上的信息可以被视为公共信息（尽管是适当的渠道）。

Answer 1

无法检测或阻止仅抓取少量页面的编写良好的机器人——它的行为可能与真正的用户无法区分。

Answer 2

1. 您可以阻止或限制访问多个帐户的任何单个源 IP。如上所述，这必须能够知道正在访问的不仅仅是帐户，而且实施起来可能并非易事。当然，这也可能阻止将 NAT 连接的互联网作为“实用程序”的公寓大楼中的租户。

2. 您可以实施验证码。