小编Ang*_*lLB的帖子

Scrapy 与多处理兼容吗?

所以我一直在使用硒来进行刮擦。但我想将所有代码更改为 Scrapy。我唯一不确定的是我正在使用多处理(python 库)来加速我的进程。我研究了很多,但我完全不明白。我发现:Multiprocessing of Scrapy Spiders in Parallel Processes但它对我没有帮助,因为它说它可以用 Twisted 完成,但我还没有找到一个例子。

在其他论坛上,它说 Scrapy 可以与多处理一起工作。

最后一件事,在scrapy中,选项CONCURRENT_REQUESTS(设置)与多处理有一些联系吗?

python selenium scrapy

7
推荐指数
1
解决办法
2340
查看次数

Scrapy与动态验证码

我试图captcha在网站中打破一个表单,但这个验证码是动态的,它没有URL,而是它有这样的东西

src="captcha?accion=image"
Run Code Online (Sandbox Code Playgroud)

这里最好的选择是什么?我读过类似使用中间件或类似东西的东西.另外我知道可以使用Selenium或Splash或其他浏览器驱动程序(屏幕截图)来完成,但我想用它来做Scrapy,如果可能的话.

python selenium captcha scrapy web-scraping

2
推荐指数
1
解决办法
766
查看次数

标签 统计

python ×2

scrapy ×2

selenium ×2

captcha ×1

web-scraping ×1