如何使用scrapy抓取需要登录的网站？

Question

我想从网站上抓取数据，这需要登录才能到达某个页面，然后才能抓取数据。

使用 Scrapy 登录后有什么方法可以抓取数据吗？或者我们是否可以模拟登录？

注意：我确实有登录凭据。

Answer 1

简短回答：是的，您可以在登录后抓取数据。使用scrapy和文档检查scrapy中的Formdata和这个答案发布请求

长答案：登录页面只是表格。您可以访问这些字段以填写所需的详细信息并发布该数据。当您按下提交/登录按钮时，您可以手动登录并检查 Chrome 开发人员工具[ctrl + shift + i]是否正在进行网络调用。然后，您可以检查发布的请求并将其复制到您的刮板中。您可以查看上面的链接以了解如何发布数据，以及请求和响应如何在 scrapy 中工作。