如何让 jsoup 等待完整页面(跳过进度页面)加载?

Thi*_*iru 6 java web-scraping jsoup

我正在尝试使用 Jsoup 解析网页并提取数据。但是链接是动态的,在显示详细信息之前会抛出一个等待加载的页面。所以 Jsoup 似乎处理的是等待页面而不是详细信息页面。有没有办法让这个等到页面完全加载?

Flo*_* B. 6

如果某些内容是在页面加载后动态创建的,那么解析完整内容的最佳机会是将 Selenium 与 JSoup 结合使用:

WebDriver driver = new FirefoxDriver();
driver.get("http://stackoverflow.com/");
Document doc = Jsoup.parse(driver.getPageSource());
Run Code Online (Sandbox Code Playgroud)