在R中使用rvest跟随页面重定向

Question

我是R和rvest的新手.我正在尝试使用这些来从网站(www.medicinescomplete.com)获取信息,该网站允许使用雅典学术登录系统登录.在浏览器中,当您单击雅典登录按钮时,它会将您转移到雅典登录表单.提交用户凭据后,表单然后将浏览器重定向回原始站点,但登录后.

我使用submit_form()函数将凭据提交到athens表单,这将返回200代码.但是,R不像浏览器那样遵循重定向,如果我使用jump_to()命令返回到原始站点,则它不会登录.我怀疑登录页面返回的重定向链接可能包含登录我需要的凭据,但我不知道如何找到链接并使用rvest发送它

有没有人弄清楚如何使用rvest通过雅典登录或有任何想法如何使其遵循自动重定向？

我用来做到这一点的代码是(登录凭据已更改):

library(rvest)
library(magrittr)

url <- "https://www.medicinescomplete.com/about/"
mcsession <- html_session(url)
mcsession <- jump_to(mcsession, "/mc/athens.htm?   uri=https%3A%2F%2Fwww.medicinescomplete.com%2Fabout%2F")
athensform <- html_form(mcsession)[[1]]
athensform <-set_values(athensform, ath_uname = "xxx", ath_passwd = "yyy")
submit_form(mcsession, athensform)
jump_to(mcsession, "https://www.medicinescomplete.com/mc/bnf/current/")

我为submit_form()步骤获得了200个代码,但是跳转到最后一行的403禁止代码.

然后我将submit_form步骤传送到html()并打印出来.从我可以看出它是一个成功的登录,但在主页的正文中有一行指的是重定向回原始网站.整个页面的html太长而无法发布,但相关的位似乎是:

<div style="padding: 8px;" id="logindiv">
                        <form method="POST" action="https://www.medicinescomplete.com/mc/athens">
                            Please wait while we transfer you. <br><noscript>JavaScript disabled, please<input type="submit" value="click here" style="border:none;background:none;text-decoration:underline;color:#E27B2F;">

我想知道以下这个位是否引用了一些登录密钥:

<input type="hidden" name="TARGET" value="https://www.medicinescomplete.com/about/" style="display:none"><input type="hidden" name="RelayState" value="https://www.medicinescomplete.com/about/" style="display:none"><input type="hidden" name="SAMLResponse" value="PFJlc3BvbnNlIHhtbG5zPSJ1cm46b2FzaXM6bmFtZXM6dGM6U0FNTDoyLjA6cHJvdG9jb2wiIHhtbG5zOnNhbWwyPSJ1cm46b2FzaXM6bmFtZXM6dGM6U0FNTDoyLjA6YXNzZXJ0aW9uIiBEZXN...

啊哈!在页面的下方是这样的:

<script>
window.onload = function() { document.forms[0].submit(); }
</script>

我认为该窗口旨在自动提交另一个执行帖子到原始drugscomplete.com网站的表单,以使用隐藏字段作为登录凭据进行身份验证.但是,在尝试使用此页面上的submit_form()时,我似乎没有进一步了解!我添加了以下行来尝试找出正在发生的事情:

> submit_form(mcsession, athensform) %>% html_form() %>% str()

这给出了以下输出:

Submitting with 'submit'
List of 1
 $ :List of 5
  ..$ name   : chr "<unnamed>"
  ..$ method : chr "POST"
  ..$ url    : chr "https://www.medicinescomplete.com/mc/athens"
  ..$ enctype: chr "form"
  ..$ fields :List of 4
  .. ..$ NULL        :List of 7
  .. .. ..$ name    : NULL
  .. .. ..$ type    : chr "submit"
  .. .. ..$ value   : chr "click here"
  .. .. ..$ checked : NULL
  .. .. ..$ disabled: NULL
  .. .. ..$ readonly: NULL
  .. .. ..$ required: logi FALSE
  .. .. ..- attr(*, "class")= chr "input"
  .. ..$ TARGET      :List of 7
  .. .. ..$ name    : chr "TARGET"
  .. .. ..$ type    : chr "hidden"
  .. .. ..$ value   : chr "https://www.medicinescomplete.com/about/"
  .. .. ..$ checked : NULL
  .. .. ..$ disabled: NULL
  .. .. ..$ readonly: NULL
  .. .. ..$ required: logi FALSE
  .. .. ..- attr(*, "class")= chr "input"
  .. ..$ RelayState  :List of 7
  .. .. ..$ name    : chr "RelayState"
  .. .. ..$ type    : chr "hidden"
  .. .. ..$ value   : chr "https://www.medicinescomplete.com/about/"
  .. .. ..$ checked : NULL
  .. .. ..$ disabled: NULL
  .. .. ..$ readonly: NULL
  .. .. ..$ required: logi FALSE
  .. .. ..- attr(*, "class")= chr "input"
  .. ..$ SAMLResponse:List of 7
  .. .. ..$ name    : chr "SAMLResponse"
  .. .. ..$ type    : chr "hidden"
  .. .. ..$ value   : chr "PFJlc3BvbnNlIHhtbG5zPSJ1cm46b2FzaXM6bmFtZXM6dGM6U0FNTDoyLjA6cHJvdG9jb2wiIHhtbG5zOnNhbWwyPSJ1cm46b2FzaXM6bmFtZXM6dGM6U0FNTDoyLjA"| __truncated__
  .. .. ..$ checked : NULL
  .. .. ..$ disabled: NULL
  .. .. ..$ readonly: NULL
  .. .. ..$ required: logi FALSE
  .. .. ..- attr(*, "class")= chr "input"
  .. ..- attr(*, "class")= chr "fields"
  ..- attr(*, "class")= chr "form"

我觉得这个表单中的信息应该允许我登录原始网站,但我不太明白如何!不幸的是,当我再次使用此表单尝试submit_form()函数时,它似乎不起作用.我试过这个:

submit_form(mcsession, athensform) %>% html_form() %>% submit_form(mcsession, .) %>% html()

得到了这个:

Submitting with 'submit'
Submitting with ''
Error in if (!(submit %in% names(submits))) { : 
  argument is of length zero

Answer 1

这很可能与此问题有关，该问题阻止在重定向时httr发出正确的GET查询。

不过，这有点难以猜测，因为您缺少可重现的示例或查询的完整详细输出。

解决方法是通过以下方式防止重定向：

rvest::submit_form(...,
                   httr::config(followlocation = FALSE))