标签: rselenium

我正在将我的一些网络抓取代码从 R 转换为 Python（我无法让 geckodriver 与 R 一起工作，但它可以与 Python 一起工作）。无论如何，我试图了解如何使用 Python 解析和读取 HTML 表。快速背景，这是我的 R 代码：

doc <- htmlParse(remDr$getPageSource()[[1]],ignoreBlanks=TRUE, replaceEntities = FALSE, trim=TRUE, encoding="UTF-8")

WebElem <- readHTMLTable(doc, stringsAsFactors = FALSE)[[7]]

我会将 HTML 页面解析为 doc 对象。然后我会从 开始doc[[1]]，然后遍历更高的数字，直到看到我想要的数据。在这种情况下，我doc[[7]]看到了我想要的数据。然后我将读取该 HTML 表并将其分配给 WebElem 对象。最终我会把它变成一个数据框并使用它。

所以我在 Python 中所做的是这样的：

html = None
doc = None
html = driver.page_source
doc = BeautifulSoup(html)

然后我开始玩，doc.get_text但我真的不知道如何获得我想看到的数据。我想看到的数据就像一个 10x10 的矩阵。当我使用 R 时，我只会使用doc[[7]]并且该矩阵几乎处于完美的结构中，我可以将其转换为数据帧。但是，我似乎无法用 Python 做到这一点。任何建议将不胜感激。

更新：

我已经能够使用 Python 获取我想要的数据——我关注了这个博客，用 Python 创建了一个数据框：Python Web-Scraping。这是我们在该博客中抓取的网站：最受欢迎的狗品种 …

当前通过将不同的字符串传递给html_session()方法来更改 user_agent 。

有没有办法在抓取网站时更改计时器上的 IP 地址？

我想从网站下面定期提取一个表格。

单击积木名称（BLOK 16 A, BLOK 16 B, BLOK 16 C, ...）时，价格表会发生变化。URL 不改变，页面通过触发改变

javascript:__doPostBack('ctl00$ContentPlaceHolder1$DataList2$ctl04$lnk_blok','')

在搜索 google 和 starckoverflow 后，我尝试了 3 种方法。

我尝试过的没有 1：这不会触发 doPostBack 事件。

postForm( "http://www.kentkonut.com.tr/tr/modul/projeler/daire_fiyatlari.aspx?id=44", ctl00_ContentPlaceHolder1_DataList2_ctl03_lnk_blok="ctl00$ContentPlaceHolder1$DataList2$ctl03$lnk_blok")

我尝试过的没有 2： selenium remote 似乎可以在 ( http://localhost:4444/ ) 上工作，但 remotedriver 无法导航。返回此错误。（checkError(res) 中的错误：httr 调用中的未定义错误。httr 输出：length(url) == 1 不是 TRUE）

library(RSelenium)
startServer()
remDr <- remoteDriver()
remDr <- remoteDriver(remoteServerAddr = "localhost" 
                  , port = 4444L, browserName = "firefox")
remDr$open()
remDr$getStatus()
remDr$navigate("http://www.kentkonut.com.tr/tr/modul/projeler/daire_fiyatlari.aspx?id=44")

我尝试过的没有 3：这是触发 dopostback 事件的另一种方式。它不导航。

base.url <- "http://www.kentkonut.com.tr/tr/modul/projeler/",
event.target <- 'ctl00$ContentPlaceHolder1$DataList2$ctl03$lnk_blok',
action <- "daire_fiyatlari.aspx?id=44" …

如何设置 RSelenium（通过 Chrome）以使用具有用户名/密码身份验证的代理服务器？

这是我到目前为止所拥有的（其中 ip、端口、用户名和密码被实际值替换）。

## Run the Selenium server
selServ <- wdman::selenium(verbose = TRUE)

## Set browser options
eCaps <- list(chromeOptions = list(
                  args = c('--disable-notifications',
                           '--window-size=1280,900',
                           agent,
                           '--proxy-server=http://ip:port',
                           '--proxy-auth=username:password',
                           )))

## Create remote driver
rd <- remoteDriver(port = 4567L,
                   browserName = "chrome",
                   extraCapabilities = eCaps)

## Open browser window
rd$open()

## Navigate to page
rd$navigate("https://www.google.com")

到目前为止没有运气......有什么想法吗？

问题：是否有一个函数可以在尚未打开的情况下打开 selenium 浏览器，或者关闭当前浏览器并重置端口并重新启动浏览器？

理由：我在 RSelenium 中处理偶尔会崩溃的大循环，因此有时我不知道循环代码中端口是否打开或浏览器是否打开。我想要一个 RSelenium 启动器，无论浏览器是否打开或端口是否正在使用，它都会启动浏览器。

尝试：我使用 tryCatch() 尝试了这种方法，但如果我尝试启动它两次，我仍然会收到 wdman 错误，表明端口已打开：

browserpreference <- "chrome"
tryCatch({rD <- rsDriver(port = 4444L, browser = paste0(browserpreference))}
  ,error=function(rD,remDr){
          try(remDr$close(), silent=T)
          try(rD$server$stop(),silent=T)
          try(suppressWarnings(rm(rD, envir = .GlobalEnv)), silent=T)
          try(suppressWarnings(rm(remDr, envir = .GlobalEnv)), silent=T)
          gc()
          rD <- rsDriver(port = 4444L, browser = paste0(browserpreference))
        })

如果我尝试两次，我会收到此错误：

Error in wdman::selenium(port = port, verbose = verbose, version = version,  : 
  Selenium server signals port = 4444 is already in use.

谢谢！

我正在尝试使用RSelenium包在R上执行代码来执行一些网络抓取，但我在第一步就被阻止了。加载库后，我尝试运行这行代码：

rmDr <- rsDriver(browser = "chrome", chromever = 'latest')