相关疑难解决方法(0)

所以我正在尝试一些硒处理方法，我真的希望它能很快。

所以我的想法是，使用无头的chrome运行它可以使我的脚本更快。

首先，该假设是正确的，还是如果我使用无头驱动程序运行脚本并不重要？

无论如何，我仍然希望它能够正常运行，但是我不知何故，我尝试了不同的方法，并且大多数人建议它可以如十月更新中所说的那样工作

如何配置ChromeDriver通过Selenium以无头模式启动Chrome浏览器？

但是当我尝试这样做时，我得到了奇怪的控制台输出，但它似乎仍然不起作用。

任何小费表示赞赏。

我想从 mobile.de 上抓取一些供个人使用的广告。

我正在使用 python 3.6 和 requests lib，但我面临一些机器人检查的问题。我怎样才能从他们的网站通过这个网关？

import requests
from bs4 import BeautifulSoup

r = requests.get("https://www.mobile.de/?lang=en")
bs = BeautifulSoup(r.content, 'lxml')
print(bs)

这部分代码向我显示以下内容：

<p>To continue your browser has to accept cookies and has to have JavaScript enabled.</p>

我在哪里可以找到我需要解决的逻辑才能通过这个问题？

我有一个问题 --headlessPython Selenium for Chrome 模式。

代码

 from selenium import webdriver
 from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

 CHROME_DRIVER_DIR = "selenium/chromedriver"

 chrome_options = webdriver.ChromeOptions()
 caps = DesiredCapabilities().CHROME
 chrome_options.add_argument("--disable-dev-shm-usage")
 chrome_options.add_argument("--remote-debugging-port=9222")
 chrome_options.add_argument("--headless")  # Runs Chrome in headless mode.
 chrome_options.add_argument('--no-sandbox')  # # Bypass OS security model
 chrome_options.add_argument("--disable-extensions")
 chrome_options.add_argument("--disable-gpu")

 browser = webdriver.Chrome(desired_capabilities=caps, executable_path=CHROME_DRIVER_DIR, options=chrome_options)

 browser.get("https://www.manta.com/c/mm2956g/mashuda-contractors")
 print(browser.page_source)
 browser.quit()

当我删除chrome_options.add_argument("--headless")所有工作正常时，但是--headless*有了下一个问题

Please enable cookies.

Error 1020 Ray ID: 53fd62b4087d8116 • 2019-12-04 11:19:28 UTC

Access denied

What happened?
This website is using a security service to …

我正在尝试使用R(包rvest)在网页上刮取表格数据.要做到这一点,数据需要在html源文件中(rvest显然在那里寻找它),但在这种情况下它不是.

但是,数据元素显示在"检查"面板的"元素"视图中:

源文件显示一个空表:

为什么数据显示在inspect元素上而不是源文件上？如何以html格式访问表数据？如果我无法通过HTML访问如何更改我的网络抓取策略？

*网页是 https://si3.bcentral.cl/siete/secure/cuadros/cuadro_dinamico.aspx?idMenu=IPC_VAR_MEN1_HIST&codCuadro=IPC_VAR_MEN1_HIST

源文件: view-source:https://si3.bcentral.cl/siete/secure/cuadros/cuadro_dinamico.aspx？idMenu = IPC_VAR_MEN1_HIST&codCuadro = IPC_VAR_MEN1_HIST

编辑:赞赏使用R的解决方案

我有一个应用程序，我需要一个长时间运行的Selenium Web 驱动程序实例（我在无头模式下使用Chrome 驱动程序 83.0.4103.39）。基本上，该应用程序不断从队列中提取 url-data，并将提取的 url 提供给 Selenium，Selenium 应该在网站上执行一些分析。许多这些网站可能已关闭、无法访问或损坏，因此我将页面加载超时设置为 10 秒，以避免 Selenium 永远等待页面加载。
我在这里遇到的问题是，经过一些执行时间（假设 10 分钟）Selenium 开始给出Timed out receiving message from renderer每个 url 的错误。最初它工作正常，它可以正确打开好的网站并在坏网站上超时（网站无法加载），但一段时间后它开始对所有内容超时，即使是应该正确打开的网站（我已经检查过，它们在 Chrome 浏览器上正确打开）。我很难调试这个问题，因为应用程序中的每个异常都被正确捕获。我也注意到这个问题只发生在headless模式中。

• 更新 *
  在网站分析期间，我还需要考虑 iframe（仅顶级），因此我还添加了一个逻辑来将驱动程序上下文切换到主页中的每个 iframe 并提取相关的 html。

这是应用程序的简化版本：

import traceback
from time import sleep
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

width = 1024
height = 768

chrome_options = Options()
chrome_options.page_load_strategy …

Chrome 在我的 Jenkins 上不稳定。当我运行 build 5 次时，它运行 1 - 2 次成功，另外 3 次出现上述错误。

错误截图：

Chrome 代码：

ChromeOptions options = new ChromeOptions();
System.setProperty("webdriver.chrome.driver","/usr/local/bin/chromedriver");
options.addArguments("--headless");
options.addArguments("--no-sandbox");
options.addArguments("--disable-dev-shm-usage");
driver = new ChromeDriver(options);
driver.get("https://mywebsite.com");
     

我已经采取了一些步骤：

1. 为 google chrome 和 chrome 驱动程序提供了 777 权限

2. 设置：在构建之前启动 Xvfb，然后在 Jenkins 构建设置中将其关闭为 True

3. ChromeDriver 81.0.4044.69

4. 谷歌浏览器 81.0.4044.129

5. Ubuntu 18.04.4 LTS (GNU/Linux 4.15.0-99-generic x86_64)