Thi*_*iru 6 java web-scraping jsoup
我正在尝试使用 Jsoup 解析网页并提取数据。但是链接是动态的,在显示详细信息之前会抛出一个等待加载的页面。所以 Jsoup 似乎处理的是等待页面而不是详细信息页面。有没有办法让这个等到页面完全加载?
如果某些内容是在页面加载后动态创建的,那么解析完整内容的最佳机会是将 Selenium 与 JSoup 结合使用:
WebDriver driver = new FirefoxDriver();
driver.get("http://stackoverflow.com/");
Document doc = Jsoup.parse(driver.getPageSource());
Run Code Online (Sandbox Code Playgroud)