小编Pab*_*man的帖子

我需要帮助定义一个工具的架构,该工具每天会抓取1000多个大型网站以获取新的更新.

我打算在这个项目中使用Scrapy:

• 为Scrapy提供每个网站的项目,我如何处理1000多个网站并将其与Scrapy一起存储在一个项目中？我尝试添加项目生成器,但这是个好主意吗？
• 我如何判断一个网站是否更新了新内容,以便我可以再次删除它？

谢谢!