这是我的Python代码:
import urllib2
from bs4 import BeautifulSoup
page = urllib2.urlopen("http://www.amazon.com/")
soup = BeautifulSoup(page)
print soup
Run Code Online (Sandbox Code Playgroud)
它适用于 google.com 和许多其他网站,但不适用于 amazon.com。
我可以在浏览器中打开 amazon.com,但生成的“汤”仍然没有。
此外,我发现它也无法从 appannie.com 上抓取。然而,代码并没有给出任何结果,而是返回一个错误:
HTTPError: HTTP Error 503: Service Temporarily Unavailable
Run Code Online (Sandbox Code Playgroud)
所以我怀疑亚马逊和 App Annie 是否会阻止抓取。