如何避免被刮伤？

Question

我们有一个可搜索的数据库（DB），我们将结果限制为每页 15 个，并且只有 100 个结果，但仍然让人们试图抓取网站。

我们正在禁止访问速度足够快的网站。我想知道我们还有什么可以做的。Flash 渲染结果可能吗？

Answer 1

既然你的数据库显然有需求，你有没有想过把它转过来，提供爬虫想要的东西？与刮板建立业务联系并鼓励适当使用 API？

Answer 2

有一些好的信息如何从砰你的网站数百次第二站脚本编写者？

Answer 3

您可以通过 AJAX 检索记录并使用身份验证 ID（如 API 密钥）进行 AJAX 调用，从而使其变得更加困难。

当然，您可以通过读取 ID 然后使用它发出 AJAX 请求来解决这个问题。

正如您所指出的，使用 Flash 渲染是另一种选择（尽管仍然不是 100% 不可抓取），就像在 PDF 中渲染一样。