用 Cheerio 刮擦，文字不可见

Question

所以我一直在使用 Cheerio 进行网页抓取，并且能够找到我正在寻找的特定 HTML 元素，但由于某种原因，文本不存在。

例如，在我的网络浏览器中，当我检查元素时，我看到<a href = "#" data-bind="text: MovieName, attr: { href: DetailsUrl }">Why Him?</a>.

但是，当我在抓取时打印出对象时，我看到了，<a href = "#" data-bind="text: MovieName, attr: { href: DetailsUrl }"></a>所以当我调用 .text() 函数时，它不会返回任何内容。为什么会出现这种情况？

Answer 1

Inspect Element 并不是 Cheerio 能够看到某些内容的有效测试。您必须改用“查看源代码”。

Inspect Element 是应用浏览器中存在的所有各种技术（包括 CSS 和 JavaScript）后浏览器如何呈现元素的实时视图。另一方面，查看源代码是服务器发送到浏览器的原始代码，您通常可以期望它与 Cheerio 将收到的代码相同。也就是说，假设您确保 HTTP 标头相同，尤其是与内容协商相关的标头。

重要的是要理解，虽然 Cheerio 是一个 DOM 解析器，但它并不模拟浏览器。因此，例如，如果通过 JavaScript 添加文本，则该文本将不存在，因为 JavaScript 不会运行。

如果浏览器模拟对您很重要，您应该考虑使用PhantomJS。如果您需要高度真实的浏览器渲染设置，请查看WebDriver和Leadfoot。