Rightmove API和刮刮技术和法律

Question

我正在寻找使用属性数据构建应用程序.Nestoria有一个免费的API和使用规则,Zoopla是您注册的API.OnTheMarket和Rightmove对这封信有相同的使用条款(竞争对手奇怪吗？).Rightmove宣传API上传但不下载 - 我找不到OnTheMarket的任何内容.

我发现Rightmove确实有一个API,尽管后代码搜索被他们自己的outcode映射混淆了......

https://api.rightmove.co.uk/api/sale/find?index=0&sortType=1&numberOfPropertiesRequested=2&locationIdentifier=OUTCODE%5E1&apiApplication=IPAD

我担心使用未升级的API.另一种方法是抓取,这在技术上和法律上都比较难以解决,尽管从我读到的数据是在公共领域并且可以免费使用.

我联系了Rightmove但没有回复.

是否有人使用Rightmove api并获得了他们的授权？似乎最奇怪的是它是开放的和可用的,但在搜索时几乎没有提到.

任何人都可以澄清什么规则/法律/道德规范来刮取数据？

Answer 1

不要查询他们隐藏的API.但是您可以在RightMove.co.uk网站上运行网络爬虫,并且根据第3.3节的服务条款中的规定完全合法:

您不得使用或尝试使用任何自动程序,除非自动程序在用户代理字段中唯一标识自身并完全符合机器人排除协议

像Apache Nutch这样的网络爬虫完全遵循机器人排除协议.从他们的robots.txt文件中我发现他们有精心设计的嵌套sitemap.xml文件,因此他们宁愿推广有组织但礼貌的网站抓取.我本人想要获取他们的数据,所以我开始尝试用我的资源抓取他们 - 如果您需要访问这些数据,请告诉我.