小编yya*_*yan的帖子

为什么我无法通过 BeautifulSoup 抓取亚马逊内容?

这是我的Python代码:

import urllib2
from bs4 import BeautifulSoup

page = urllib2.urlopen("http://www.amazon.com/")
soup = BeautifulSoup(page)
print soup
Run Code Online (Sandbox Code Playgroud)

它适用于 google.com 和许多其他网站,但不适用于 amazon.com。

我可以在浏览器中打开 amazon.com,但生成的“汤”仍然没有。

此外,我发现它也无法从 appannie.com 上抓取。然而,代码并没有给出任何结果,而是返回一个错误:

HTTPError: HTTP Error 503: Service Temporarily Unavailable 
Run Code Online (Sandbox Code Playgroud)

所以我怀疑亚马逊和 App Annie 是否会阻止抓取。

python beautifulsoup web-scraping

-1
推荐指数
1
解决办法
9136
查看次数

标签 统计

beautifulsoup ×1

python ×1

web-scraping ×1