如何使用 Python 迭代网站页面？

Question

我是软件开发的新手，我不知道如何去做。我想访问网站的每个页面并从每个页面获取特定的数据。我的问题是，我不知道如何在不提前知道各个 url 的情况下迭代所有现有页面。例如，我想访问 url 开头的每个页面

“http://stackoverflow.com/questions/”

有没有办法编译一个列表，然后迭代它，或者是否可以在不创建一个巨大的 url 列表的情况下做到这一点？

Answer 1

尝试Scrapy。

它为您处理所有爬行工作，让您专注于处理数据，而不是提取数据。我不会复制粘贴教程中已有的代码，而是让您自行阅读。