请求/BeautifulSoup VS robots.txt

Question

我正在尝试使用单个输入来抓取某个网站。现在我已经用 Scrapy 构建了它，在进行所有调整（包括不遵守 robots.txt）之后，它工作得很好，并且它自动循环运行以进行数据挖掘。

现在我需要制作一些可以通过输入抓取单个页面的东西

问题是，我能够访问的唯一页面是 robots.txt 页面，并且我无法在网上找到任何有关 robots.txt 的信息。

有没有关于如何使用 BS 或 Requests 进行操作的教程？

Answer 1

尝试传递这些标头，您将获得预期的输出。

import requests

headers = { 'accept':'*/*',
'accept-encoding':'gzip, deflate, br',
'accept-language':'en-GB,en;q=0.9,en-US;q=0.8,hi;q=0.7,la;q=0.6',
'cache-control':'no-cache',
'dnt':'1',
'pragma':'no-cache',
'referer':'https',
'sec-fetch-mode':'no-cors',
'sec-fetch-site':'cross-site',
'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
 }

URL = "https://www.crunchbase.com/login"

response = requests.get(url=URL, headers=headers)
print(response.text)

希望这可以帮助！