我正在爬网数千页，需要一个解决方案。每个站点都有自己的html代码-它们都是唯一的站点。没有干净的数据源或API。我希望将捕获的数据加载到某种数据库中。
如果可能的话，有什么想法可以解决吗？
python web-crawler scrapy
python ×1
scrapy ×1
web-crawler ×1