抓取时隐藏的html源代码部分(python)

Question

所以我想从这个网址中搜索"买入价"整数:https://rsbuddy.com/exchange？ id = 5502

但是当我查看源代码时,我无法达到这些价格.BeautifulSoup也没有刮刀.这是BeautifulSoup的输出:

<div class="col-md-7" id="buy-price">
    ---
</div>

但是,当我使用Chrome的检查元素",其实我很能看到的价格:

<div id="buy-price" class="col-md-7">29,990 gp</div>

为什么这部分代码"隐藏"了？是不是因为他们不希望别人从他们的网站上刮掉？有办法解决这个问题吗？

提前致谢

编辑:我通过使用chrome工具跟踪javascript流量找到了答案.显然即使api.rsbuddy.com没有给你任何东西,它确实使用了api:https://api.rsbuddy.com/grandExchange？a = guidePrice&i = 5502

Answer 1

价格大概是由 JavaScript 输入的。他们可能正在使用某种 AJAX 来获取价格。您必须研究他们的 JavaScript 才能获取您想要的数据。

澄清一下，它本身并不是“隐藏”的，只是不在 HTML 中。当您检查元素时，它会查看由开始位置的 HTML 以及 JavaScript 对其所做的任何更改组成的文档。