相关疑难解决方法(0)

我一直在用Chromedriver测试Selenium,我注意到有些页面可以检测到你正在使用Selenium,即使根本没有自动化.即使我只是通过Selenium和Xephyr使用chrome手动浏览我经常会得到一个页面,说明检测到可疑活动.我检查了我的用户代理和浏览器指纹,它们与普通的Chrome浏览器完全相同.

当我在普通镀铬中浏览这些网站时,一切正常,但是当我使用Selenium的时候,我已经检测到了.

从理论上讲,chromedriver和chrome应该看起来与任何网络服务器完全相同,但不知怎的,他们可以检测到它.

如果你想要一些测试代码试试这个:

from pyvirtualdisplay import Display
from selenium import webdriver

display = Display(visible=1, size=(1600, 902))
display.start()
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--disable-extensions')
chrome_options.add_argument('--profile-directory=Default')
chrome_options.add_argument("--incognito")
chrome_options.add_argument("--disable-plugins-discovery");
chrome_options.add_argument("--start-maximized")
driver = webdriver.Chrome(chrome_options=chrome_options)
driver.delete_all_cookies()
driver.set_window_size(800,800)
driver.set_window_position(0,0)
print 'arguments done'
driver.get('http://stubhub.com')

如果您浏览stubhub,您将在一两个请求中被重定向和"阻止".我一直在研究这个,我无法弄清楚他们如何判断用户是否正在使用Selenium.

他们是如何做到的呢？

编辑更新:

我在Firefox中安装了Selenium IDE插件,当我在普通的firefox浏览器中使用附加插件访问stubhub.com时,我被禁止了.

编辑:

当我使用Fiddler来查看来回发送的HTTP请求时,我注意到"假浏览器"的请求通常在响应头中有"无缓存".

编辑:

这样的结果是否有办法检测到我在Javascript的Selenium Webdriver页面中建议无法检测何时使用webdriver.但是这个证据表明不然.

编辑:

该网站将指纹上传到他们的服务器,但我检查了使用chrome时硒的​​指纹与指纹相同.

编辑:

这是他们发送到服务器的指纹有效负载之一

{"appName":"Netscape","platform":"Linuxx86_64","cookies":1,"syslang":"en-US","userlang":"en-US","cpu":"","productSub":"20030107","setTimeout":1,"setInterval":1,"plugins":{"0":"ChromePDFViewer","1":"ShockwaveFlash","2":"WidevineContentDecryptionModule","3":"NativeClient","4":"ChromePDFViewer"},"mimeTypes":{"0":"application/pdf","1":"ShockwaveFlashapplication/x-shockwave-flash","2":"FutureSplashPlayerapplication/futuresplash","3":"WidevineContentDecryptionModuleapplication/x-ppapi-widevine-cdm","4":"NativeClientExecutableapplication/x-nacl","5":"PortableNativeClientExecutableapplication/x-pnacl","6":"PortableDocumentFormatapplication/x-google-chrome-pdf"},"screen":{"width":1600,"height":900,"colorDepth":24},"fonts":{"0":"monospace","1":"DejaVuSerif","2":"Georgia","3":"DejaVuSans","4":"TrebuchetMS","5":"Verdana","6":"AndaleMono","7":"DejaVuSansMono","8":"LiberationMono","9":"NimbusMonoL","10":"CourierNew","11":"Courier"}}

它的硒和铬相同

编辑:

VPN仅供一次使用,但在加载第一页后会被检测到.很明显,正在运行一些javascript来检测Selenium.

希望专家能帮助我解开 Selenium/Cloudflare 之谜。我可以让一个网站在普通（非无头）Selenium 中加载，但无论我尝试什么，我都无法让它在无头中加载。

我已遵循 StackOverflow 帖子中的建议，例如Is there a version of Selenium WebDriver that is not detectorable? 。window我还查看了和对象的所有属性window.navigator，并修复了无头和非无头之间的所有差异，但不知何故仍然检测到无头。此时我非常好奇 Cloudflare 如何能够找出其中的差异。谢谢你的时间！

我尝试过的事情列表：

• 用户代理
• 替换cdc_为 chromedriver 中的另一个字符串
• options.add_experimental_option("excludeSwitches", ["enable-automation"])
• options.add_experimental_option('useAutomationExtension', False)
• options.add_argument('--disable-blink-features=AutomationControlled')（这是让网站以非无头方式加载所必需的）
• 放navigator.webdriver = undefined
• 设置navigator.plugins、navigator.languages、 和navigator.mimeTypes
• 将window.ScreenY, window.screenTop, window.outerWidth,设置window.outerHeight为非零
• 设置window.chrome和window.navigator.chrome
• 将图像的宽度和高度设置为非零
• 设置WebGL参数
• 使固定Modernizr

重复实验

为了让网站在正常（非无头）Selenium 中加载，您必须点击_blank另一个网站的链接（以便目标网站在另一个选项卡中打开）。要复制该实验，首先创建一个包含内容的 html 文件<a href="https://poocoin.app" target="_blank">link</a>，然后在以下代码中粘贴该 html 文件的路径。

下面的版本（非无头）运行良好并加载网站，但如果您设置 …

它说

ChromeDriver 是一个实现W3C WebDriver 标准的独立服务器

看起来W3C WebDriver标准只定义了自动化程序和Chromedriver之间的接口。Chromedriver 充当 HTTP 服务器来从自动化程序获取命令。

但是 ChromeDriver 如何与 Chrome 通信呢？

还是通过HTTP协议？

如果是，我们在哪里可以获得有关详细信息的文档？Chrome 内部的哪个组件负责处理来自 Chromedriver 的命令？它是 Chrome 内置的还是只是 Chrome 的扩展？

什么是硒？

当您打开Selenium的官方页面时，您首先读到的是“什么是Selenium？”中的“ Selenium automates browser”。部分。“硒的哪个部分适合我？”部分 下面提供了Selenium WebDriver和Selenium IDE之间的选择。据此，我推断出Selenium是工具的集合，该集合包括IDE，WebDriver API（语言绑定），Grid，Selenium Standalone Server，浏览器驱动程序。必须下载适当的文件才能构建项目。

什么是WebDriver？

WebDriver是一个API。它用多种语言编写，这些语言称为语言绑定。API具有控制浏览器的功能。您可以使用这些功能编写脚本来以所需的方式（测试用例）控制浏览器。

这就是我所知道的。如果我错了，请纠正我。我想从面试的角度知道这两个问题的答案。