在 flutter 应用程序中使用 dart 抓取动态网站

Question

我有一个网站，它使用一些 javascript 生成项目列表，我正在尝试使用漂亮的 dart 肥皂包将其抓取到我的 flutter 应用程序中。问题是我无法抓取java脚本生成的动态数据。我想实现一个解决方案，允许我在网站完全加载到应用程序中后获取网站的源代码。应用程序内隐藏的 Web 视图将是完美的，但阻碍我的是如何在 Web 视图加载后获取数据。这是我主要关心的问题。代码示例将不胜感激。也欢迎更好的做法。

Answer 1

我逐渐意识到，在 flutter mobile 上抓取包含一些 javascript 的动态网站或您想要使用特定脚本正确抓取它的网站是不可能的。您应该做的是通过创建您自己的 api 将抓取移动到云端，然后使用此 api 将响应返回到您的应用程序。这将使抓取变得更容易，因为您不必为脚本中发现的每个错误都更新应用程序。还可以想象一下，您的目标网站每周都会自行更新，那么您将必须每周更新您的应用程序并等待您订阅的所有商店的批准。一个简单的示例是 通过利用puppeteer包将 firebase 中的云功能与javascript结合使用。一个简单的视频教程在这里：Tutorial over youtube