我一直在尝试使用Scrapy进行Web抓取,并且对从Whatsapp的所有聊天中检索所有文本消息作为机器学习项目的训练数据感兴趣。我知道有些网站阻止网络爬虫/抓取工具,所以我想知道是否可以使用Scrapy获取这些消息,如果不能,我可以使用哪些替代方法?我了解我可以为每个聊天单击“电子邮件聊天”选项,但是如果我想不仅从自己的聊天中,而且从愿意让其他人聊天的人中获取大量数据,这可能不可行。我在项目中使用他们的聊天记录。
web-crawler scrapy web-scraping
scrapy ×1
web-crawler ×1
web-scraping ×1