尝试使用HtmlUnit解析ember应用程序时出错

Question

所以我有一个Ember应用程序,我需要为抓取目的拍摄快照.Ember应用程序使用Google+ API进行歌唱.它还在索引页面中嵌入了Youtube视频.我用HtmlUnit v2.15.

我正在使用以下代码初始化HtmlUnit:

// use the headless browser to obtain an HTML snapshot
final WebClient webClient = new WebClient(BrowserVersion.CHROME);
webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setActiveXNative(true);
webClient.getOptions().setAppletEnabled(true);
webClient.getOptions().setCssEnabled(true);
webClient.getOptions().setUseInsecureSSL(true);
webClient.getOptions().setThrowExceptionOnScriptError(false);
HtmlPage page = webClient.getPage(originalUrl);

// important!  Give the headless browser enough time to execute JavaScript
// The exact time to wait may depend on your application.
webClient.waitForBackgroundJavaScript(5000);

// return the snapshot
logger.info("Writing snapshot for URL: " + originalUrl);
response.getWriter().write(page.asXml());
webClient.closeAllWindows();

1. 现在,我有一个问题发生在所有3个主要浏览器版本(CHROME,INTERNET_EXPLORER_11,FIREFOX_24):

   runtimeError: message=[An invalid or illegal selector was specified (selector: '*,:x' error: Invalid selector: *:x).] sourceName=[http://www.domain.com/assets/vendor.js] line=[1351] lineSource=[null] lineOffset=[0]
   

来自vendor.js的Snipet:

// Opera 10-11 does not throw on post-comma invalid pseudos
div.querySelectorAll("*,:x"); // line 1351 is the problem
rbuggyQSA.push(",.*:");

2. 然后,我只有FIREFOX_24和INTERNET_EXPLORER_11有以下类型的错误:

   Invalid rpc message origin. https://accounts.google.com vs http://www.domain.com
   
   Invalid rpc message origin. https://apis.google.com vs http://www.domain.com
   

3. 这仅在INTERNET_EXPLORER_11中发生:

   runtimeError: message=[Automation server can't create object for 'ShockwaveFlash.ShockwaveFlash.7'.] sourceName=[https://s.ytimg.com/yts/jsbin/www-embed-player-vflWiCusa/www-embed-player.js] line=[59] lineSource=[null] lineOffset=[0]
   

4. 最后,这只发生在CHROME中:

   [com.gargoylesoftware.htmlunit.javascript.host.xml.XMLHttpRequest.open(XMLHttpRequest.java:534)]Unable to initialize XMLHttpRequest using malformed URL 'chrome-extension://boadgeojelhgndaghljhdicfkmllpafd/cast_sender.js'.
   

此外,如果我想在Web浏览器(本例中为Chrome Linux)中检查HtmlUnit处理的结果,则不会呈现生成的页面,它只是:

This page contains the following errors:

error on line 23 at column 5: Encoding error
Below is a rendering of the page up to the first error.

embed[type*="application/x-shockwave-flash"],embed[src*=".swf"],object[type*="application/x-shockwave-flash"],object[codetype*="application/x-shockwave-flash"],object[src*=".swf"],object[codebase*="swflash.cab"],object[classid*="D27CDB6E-AE6D-11cf-96B8-444553540000"],object[classid*="d27cdb6e-ae6d-11cf-96b8-444553540000"],object[classid*="D27CDB6E-AE6D-11cf-96B8-444553540000"]{    display: none !important;}

更新:

我刚刚更新HtmlUnit到v2.16.

完全没有呈现的页面部分是由于flash插件集成引起的,如下所述,它似乎在v2.16中修复,并且由索引页面中存在的非UTF-8字符引起.所以部分我不好.因此页面按预期呈现而没有问题.仍然存在一些解析问题,如下所述.

1. 没有使用CHROME或FIREFOX_31修复.在INTERNET_EXPLORER_11中修复
2. 不固定.除了FIREFOX_31之外,现在也出现在CHROME中.固定在IE_11.
3. 固定在IE_11.
4. 修正了CHROME.
5. CHROME,FIREFOX_31的新问题:

Rhino运行时检测到对象com.gargoylesoftware.htmlunit.ScriptException:异常调用类com.gargoylesoftware.htmlunit.ScriptException的解析,它需要String,Number,Boolean或Scriptable实例.请检查您的代码是否缺少Context.javaToJS()调用.

6. IE_11的新问题:

runtimeError:message = [指定了无效或非法选择器(选择器:':enabled'错误:语法错误).] sourceName = [ http://www.domain.com/assets/vendor.js] line = [1346] lineSource = [null] lineOffset = [0]

第1346行的代码段:

// FF 3.5 - :enabled/:disabled and hidden elements (hidden elements are still enabled)
            // IE8 throws error here and will not see later tests
            if ( !div.querySelectorAll(":enabled").length ) {
                rbuggyQSA.push( ":enabled", ":disabled" );
            }

总之,在最新版本的HtmlUnit v2.16中,IE_11只有1个错误,而CHROME和FIREFOX_31只有3个.因此,我将切换到使用IE_11并将HtmlUnit的日志阈值更改为FATAL而不是ERROR in为了不发送来自该问题的错误电子邮件的垃圾邮件.它会更好,我会给你,但仍然不完美.也许与明年的更新？:)

Answer 1

为了解决上述大多数问题，请将浏览器版本更新并设置HtmlUnit为. 就我而言，只剩下 1 个错误。为了从我们的邮件程序日志中消除此错误，我将日志级别阈值设置为而不是。为此，请在文件中添加以下行。v2.16INTERNET_EXPLORER_11FATALERRORlog4j.properties

log4j.logger.com.gargoylesoftware.htmlunit=FATAL

还要确保并仔细检查生成的 XML 中的所有字符是否都已UTF-8编码。