有些网站屏蔽了 selenium webdriver，这是如何工作的？

Question

因此，我尝试对服装网站进行网络抓取，以建立一个值得关注的优惠/产品列表，但我注意到我尝试加载的一些网站却没有。网站如何阻止 selenium webdriver http 请求？他们会看标题什么的吗？你能一步步告诉我 selenium webdriver 如何发送请求以及服务器如何接收它们/能够阻止它们吗？

Answer 1

Selenium 使用真正的 Web 浏览器（通常是 Firefox 或 Chrome）来发出请求，因此该网站可能不知道您在幕后使用 Selenium。

如果该网站阻止您，可能是因为您的使用模式（即您每分钟发出 1000 个请求，从而堵塞了他们的网络服务器。这很粗鲁。不要这样做！）

一个例外是如果您在“无头”模式下使用 Selenium 和 HtmlUnitDriver。该网站可以检测到这一点。