小编Chi*_*dam的帖子

如何在erlang中创建解析器

如何在erlang中创建一个解析器,它将采用一个正确形成的命题公式并将其转换为一些内部表示.

列出在erlang中创建解析器的可用工具以及使用它们的项目可能会有所帮助.

erlang parser-generator

5
推荐指数
1
解决办法
1280
查看次数

如何使用jsoup抓取多个url

我有下面的代码,它使用 JSoup 抓取网站,但我想同时抓取多个URL。我将 URL 存储在一个数组中,但我无法让它工作。如果我想使用这段代码,如何在多线程中实现它?多线程对这样的应用程序有好处吗?

public class Webcrawler {
    public static void main(String[] args) throws IOException {

        String [] url = {"http://www.dmoz.org/","https://docs.oracle.com/en/"}; 
        //String [] url = new String[3];
        //url[0] = "http://www.dmoz.org/";
        //url[1] = "http://www.dmoz.org/Computers/Computer_Science/";
        //url[2] = "https://docs.oracle.com/en/";

        for(String urls : url){
            System.out.print("Sites to be crawled\n " + urls);
        }
        //String url = "http://www.dmoz.org/";
        print("\nFetching %s...", url);

        Document doc = Jsoup.connect(url[0]).get();
        org.jsoup.select.Elements links = doc.select("a");
        //doc.select("a[href*=https]");//(This is the one you are looking for)selects if value of href contatins https …
Run Code Online (Sandbox Code Playgroud)

java web-crawler jsoup

1
推荐指数
1
解决办法
2375
查看次数

标签 统计

erlang ×1

java ×1

jsoup ×1

parser-generator ×1

web-crawler ×1