如何使用Perl从使用AJAX的网站收集数据？

Question

这可能看起来有点倒退,但我想使用Perl(如果可能的话,使用Curl)从使用Ajax的站点获取数据以填充带有信息的HTML shell.如何进行这些Javascript调用以获取我需要的数据？

该网站位于:http://www.jigsaw.com/showContactUpdateTab.xhtml？companyId = 22424

Answer 1

请记住，AJAX 调用是普通的 HTTP 请求，因此您始终应该能够执行它们。

在您正在谈论的网站上打开 Firebug 或 Web Inspector，您将看到一些 XHR 调用：

XHR 完成加载：“http://www.jigsaw.com/dwr/interface/UserActionAPI.js”。“http://www.jigsaw.com/dwr/call/plaincall/UserActionAPI.getMostPurchasedContacts.dwr”。“http://www.jigsaw.com/dwr/call/plaincall/UserActionAPI.getRecentlyGraveyardedContacts.dwr“http://www.jigsaw.com/dwr/call/plaincall/UserActionAPI.getRecentlyAddedContacts.dwr”。“http：/ /www.jigsaw.com/dwr/call/plaincall/UserActionAPI.getRecentlyTitleChangedContacts.dwr"

耶！现在您知道从哪里获取该数据了。他们的脚本使用POST对上述 URL 的 HTTP 请求，因此如果您在浏览器中打开它们，您会看到各种引擎错误。

当您嗅探（例如，通过 Web Inspector 调试器）它们的 AJAX POST 请求时，您将看到下一个正文：

“callCount=1 页=/showContactUpdateTab.xhtml?companyId=224230 httpSessionId=F5E7EC4A45DFCE87B969A9F4FA06C361 scriptSessionId=D020EFF4333283B907402687182D03E034 c0-scriptName=UserActionAPI c0-methodName=getRecentlyGraveyarded联系人 c0-id=0 c0-param0=号码：224230 c0-param1=布尔值：false c0 -param2 =布尔值：假batchId = 1“

我很确定，他们正在生成一堆安全会话 ID 以避免数据挖掘。您可能需要深入研究他们的 JavaScript 代码以了解有关这些生成器的更多信息。