相关疑难解决方法(0)

从网站上抓取数据的最佳方法是什么?

我需要从网站中提取内容,但应用程序不提供任何应用程序编程接口或其他机制来以编程方式访问该数据.

我找到了一个名为Import.io的有用的第三方工具,它提供了用于抓取网页和构建数据集的点击操作功能,唯一的一件事就是我想在本地保存我的数据,而且我不想订阅任何订阅计划.

该公司使用什么样的技术来抓取网页并构建他们的数据集?我发现一些网络抓取框架pjscrapeScrapy可以提供这样的功能

api screen-scraping web-scraping

106
推荐指数
2
解决办法
15万
查看次数

标签 统计

api ×1

screen-scraping ×1

web-scraping ×1