我想抓取Google Play商店下载所有Android应用程序的网页(所有网页都包含以下基本网址:https://play.google.com/store/apps/).我检查了Play商店的robots.txt文件,它不允许抓取这些网址.
此外,当我浏览Google Play商店时,我只能看到每个类别最多3页的热门应用程序.我如何获得其他应用程序页面？
如果有人尝试抓取Google Play,请告诉我以下事项:a)您是否成功抓取了Play商店.如果是,请告诉我你是怎么做到的.b)如何抓取每个类别的顶级应用程序中不可见的隐藏应用程序页面？c)是否有技术可以下载应用程序而不仅仅是网页？
我已经四处搜索并找到以下链接:
a) https://code.google.com/p/android-market-api/
b) https://code.google.com/p/android-marketplace-crawler/source/checkout
c) http://mohsin-junaid.blogspot.co.uk/2012/12/how-to-install-android-marketplace.html
d) http://mohsin-junaid.blogspot.in/2012/12/how-to-download-multiple-android-apks.html
谢谢!
有谁知道谷歌播放是否有搜索API.我对搜索应用程序特别感兴趣.
iTunes有一个很棒的搜索API,也是一个包含所有信息的企业合作伙伴Feed.谷歌提供相同的？