刮刮Javascript生成的数据

Question

我正在与世界银行分析他们的采购流程开展一个项目.

世界银行为每个项目维护网站,包含相关合同的链接和数据(示例).合同相关数据可在采购选项卡下找到.

我希望能够从该站点提取项目的合同信息,但链接和相关数据是使用嵌入式Javascript生成的,显示合同授予和其他数据的页面的URL似乎不遵循可辨别的模式(例子).

有没有办法可以通过R抓第一个例子中的浏览器渲染数据？

Answer 1

主页调用javascript函数

javascript:callTabContent('p','P090644','','en','procurement','procurementId');

这里的主要内容是项目ID P090644.这与所需语言一起en作为参数传递到http://www.worldbank.org/p2e/procurement.html上的表格.

可以使用网址http://www.worldbank.org/p2e/procurement.html?lang=en&projId=P090644复制此表单调用.

提取相关项目描述网址的代码如下:

projID<-"P090644"
projDetails<-paste0("http://www.worldbank.org/p2e/procurement.html?lang=en&projId=",projID)

require(XML)

pdData<-htmlParse(projDetails)
pdDescribtions<-xpathSApply(pdData,'//*/table[@id="contractawards"]//*/@href')

#> pdDescribtions
                                                                href 
#"http://search.worldbank.org/wcontractawards/procdetails/OP00005718" 
                                                                href 
#"http://search.worldbank.org/wcontractawards/procdetails/OP00005702" 
                                                                href 
#"http://search.worldbank.org/wcontractawards/procdetails/OP00005709" 
                                                                href 
#"http://search.worldbank.org/wcontractawards/procdetails/OP00005715" 

应该注意的是,提供的excel链接也可能对您有用.它们可能包含您要从描述链接中删除的数据

procNotice<-paste0("http://search.worldbank.org/wprocnotices/projectdetails/",projID,".xls")
conAward<-paste0("http://search.worldbank.org/wcontractawards/projectdetails/",projID,".xls")
conData<-paste0("http://search.worldbank.org/wcontractdata/projectdetails/",projID,".xls")

require(gdata)

pnData<-read.xls(procNotice)
caData<-read.xls(conAward)
cdData<-read.xls(conData)

更新:

要查找正在发布的内容,我们可以检查调用javascript函数时会发生什么.使用Firebug或类似的东西,我们拦截开始的请求标头:

POST /p2e/procurement.html HTTP/1.1
Host: www.worldbank.org

并有参数:

lang=en
projId=P090644

或者,我们可以在http://siteresources.worldbank.org/cached/extapps/cver116/p2e/js/script.js查看javascript 并查看函数callTabContent:

function callTabContent(tabparam, projIdParam, contextPath, langCd, htmlId, anchorTagId) {
    if (tabparam == 'n' || tabparam == 'h') {
        $.ajax( {
            type : "POST",
            url : contextPath + "/p2e/"+htmlId+".html",
            data : "projId=" + projIdParam + "&lang=" + langCd,
            success : function(msg) {
                if(tabparam=="n"){
                    $("#newsfeed").replaceWith(msg);
                } else{
                    $("#cycle").replaceWith(msg);
                }
                stickNotes();
            }
        });
    } else {
        $.ajax( {
            type : "POST",
            url : contextPath + "/p2e/"+htmlId+".html",
            data : "projId=" + projIdParam + "&lang=" + langCd,
            success : function(msg) {
                $("#tabContent").replaceWith(msg);
                $('#map_container').hide();
                changeAlternateColors();
                $("#tab_menu a").removeClass("selected");
                $('#'+anchorTagId).addClass("selected");                
                stickNotes();
            }
        });
    }
}

检查函数的内容,我们可以看到它只是将相关参数发布到表单然后更新网页.