你能刮一个Angular JS网站吗？

Question

这被标记为偏离主题但留在Stack Overflow上以防其他人有同样的问题.

这可能超出了范围,但我很想知道你是否可以抓一个Angular JS网站？

如果可以,有人可以指点我一些好的资源吗？我做了一些研发但除了Phantom JS之外找不到任何有用的资源

Answer 1

这个问题最简单的答案是肯定的，这是可能的，但不能使用传统的机器人，因为传统的机器人只查看它们在 HTTP 响应正文中获得的原始文本内容，而不会真正解释运行 JavaScript 的典型浏览器会看到的内容。Google 这样做了（截至 2014 年 5 月）： http://googlewebmastercentral.blogspot.com/2014/05/understanding-web-pages-better.html

如果您有一个机器人可以解析 javascript 并允许正常的 http xhr 请求发出并获取填充 SPA 的实际数据，您就可以抓取 Angular 站点。