在应用商店中抓取数据

Question

有谁知道AppShopper.com如何抓取Apple应用程序商店中的数据？我们是否必须使用像Watir这样的自动化测试来模拟浏览器？这是收集数据的唯一方法(例如,下载统计数据,价格)吗？

Answer 1

爬行不是最好的方法.有一个合作伙伴Feed程序,完全免费加入.可以提供所需的数据.阅读常见问题

Answer 2

有数百种服务,比如你提到的服务......但是建立自己的刮刀并不困难.

假设您希望在英国查看id = xxxxxxxxx的应用程序的所有评论(在应用程序链接上右键单击iTunes并选择"复制链接").你应该检索文件:

http://itunes.apple.com/WebObjects/MZStore.woa/wa/customerReviews?s=143444&id=xxxxxxxxx&displayable-kind=11

如果您将此URL放在浏览器中,您将无法看到与iTunes相同的信息量.也许你根本看不到任何东西,你的浏览器会要求打开iTunes.尽管如此,上面的URL与iTunes访问的相同 - 只是iTunes要求它以与Web浏览器略有不同的方式进行访问.为此,您可以使用cURL,默认情况下在大多数GNU/Linux发行版上使用的命令,但您也可以在Windows上安装.

1. 如果你在Windows上,并且没有安装cURL,请下载它(http://curl.haxx.se/download.html),解压缩它,然后将bin目录添加到PATH变量(http:// www. computerhope.com/issues/ch000549.htm);

2. 打开终端窗口(META + R,数字CMD);

安装cURL之后,在Windows和*nix上都会剪切并粘贴到终端中:

卷曲-H'主持人:itunes.apple.com'-H'接受语言:en-us,en; q = 0.50'-H'X-Apple-Store-Front:143444,5'-H'X-Apple -Tz:3600'-U'iTunes/9.2.1(Macintosh; Intel Mac OS X 10.5.8)AppleWebKit/533.16''http://itunes.apple.com/WebObjects/MZStore.woa/wa/customerReviews？ s = 143444&id = xxxxxxxxx&displayable-kind = 11 '

您现在应该看到iTunes看到的实际XML文件以及所有评论.