Whois Server在2或3个查询后阻止我的IP地址

Question

我正在为网站编写域名检查程序,但我面临着有趣的问题.

一些负责域名的whois服务器,如.WS(whois.worldsite.ws)或.CA(whois.cira.ca)每天2或3次查询后阻止ip地址!!!

对于每天可能有数百万请求的托管网站来说,这看起来像灾难.

我该怎么做才能解决这个问题？

Answer 1

相反,它有一个非常简单的方法.

如前所述,如果他们认为您在24小时内提出了太多请求,那么大多数whois权限会限制(甚至阻止)您的流量,而您可能需要考虑登录到全球任何whois提供商的ftp站点并下载数据库的各个部分,然后编写(或查找)您自己的脚本来处理它们.

我目前使用我自己的一个服务器执行此操作,该服务器使用以下shell脚本连接(每24小时一次):

#!/bin/bash
rm -f delegated-afrinic-latest
rm -f delegated-lacnic-latest
rm -f delegated-arin-latest
rm -f delegated-apnic-latest
rm -f delegated-ripencc-latest
rm -f ripe.db.inetnum
rm -f apnic.db.inetnum
rm -f ripe.db.inetnum.gz
rm -f apnic.db.inetnum.gz
wget ftp://ftp.afrinic.net/pub/stats/afrinic/delegated-afrinic-latest
wget ftp://ftp.lacnic.net/pub/stats/lacnic/delegated-lacnic-latest
wget ftp://ftp.arin.net/pub/stats/arin/delegated-arin-latest
wget ftp://ftp.apnic.net/pub/stats/apnic/delegated-apnic-latest
wget ftp://ftp.ripe.net/ripe/stats/delegated-ripencc-latest
wget ftp://ftp.ripe.net/ripe/dbase/split/ripe.db.inetnum.gz
ftp -n -v ftp.apnic.net <<END
user anonymous anonymous@anonymous.org
binary
passive
get /apnic/whois-data/APNIC/split/apnic.db.inetnum.gz apnic.db.inetnum.gz
bye
END
gunzip ripe.db.inetnum
gunzip apnic.db.inetnum

然后,我有一个自定义编写的程序,将文件解析为自定义数据库结构,然后我的服务器从中进行查询.

由于所有服务器都相互镜像数据,因此您应该能够从一台服务器获取完整的数据集,但如果没有,那么修改上述shell脚本以从其他服务器下载数据不会花费太多时间,所有人都回应'ftp.????' 并具有相同的通用文件夹结构.

我无法帮助你使用解析器,因为它包含专有代码,但文件格式(特别是如果你得到拆分文件)与你在典型的whois输出中看到的相同,所以它很容易使用.

google-code上有一个解析器(我在那里得到了下载脚本),名为'ip-country'(我认为)它的设计允许你构建自己的whois数据库,我建的那个稍微复杂一点它也与其他数据结合(因此为什么我的解析器是专有的)

通过下载和处理您自己的数据,您可以解决提供商施加的任何限制,结果是查询自己的数据存储最有可能比每次从服务器发送请求到查询服务器更快有人输入IP地址.

Answer 2

没有简单的方法可以解决这个问题。正如您所发现的，一些 whois 服务器会在几次查询后阻止您。您通常可以针对一定数量的查询向他们支付费用。还有另一种方法可能有效。由于阻塞是通过 IP 地址完成的，因此您可以编写一个 Java 小程序来运行查询。这样，限制将针对用户，因此用户每天只能进行 2-3 次查询，而不是网站。Java Applet 必须经过签名才能允许网络访问。我用java写了一个whois库，可能会有帮助JFreeWhois