存储基于Greasemonkey的爬虫数据的最佳方法？

Question

我想用Greasemonkey抓取一个网站,并想知道是否有更好的方法来临时存储值而不是GM_setValue.

我想要做的是在社交网络中抓取我的联系人,并从他们的个人资料页面中提取Twitter URL.

我目前的计划是在它自己的标签中打开每个配置文件,这样它看起来更像一个普通的浏览人(即css,scrits和图像将由浏览器加载).然后使用GM_setValue存储Twitter URL.抓取所有配置文件页面后,使用存储的值创建页面.

不过,我对存储选项并不满意.也许有更好的方法？

我已经考虑将用户配置文件插入到当前页面中,以便我可以使用相同的脚本实例处理它们,但我不确定XMLHttpRequest是否看起来与普通用户发起的请求不可分割.

Answer 1

我有一个类似的项目，我需要从网站获取大量（发票行数据），并将其导出到会计数据库中。

您可以创建一个 .aspx（或 PHP 等）后端，它处理 POST 数据并将其存储在数据库中。

您想要从单个页面获得的任何数据都可以存储在表单中（如果需要，可以使用样式属性隐藏），并使用字段名称或 ID 来标识数据。然后您需要做的就是将表单操作设为 .aspx 页面并使用 javascript 提交表单。

（或者，您可以向页面添加一个提交按钮，允许您在提交到数据库之前检查表单值）。