相关疑难解决方法(0)

使用 url 抓取大量 Google Scholar 页面

我正在尝试使用 BeautifulSoup 从 Google 学者的作者那里获取所有出版物的完整作者列表。由于作者的主页只有每篇论文的截断作者列表,我必须打开论文的链接才能获得完整的列表。结果,我每隔几次尝试就会遇到 CAPTCHA。

有没有办法避免验证码(例如,每次请求后暂停 3 秒)?或者制作原始的 Google Scholar 个人资料页面以显示完整的作者列表?

captcha beautifulsoup web-scraping google-scholar

3
推荐指数
1
解决办法
1631
查看次数