将 MySQL 连接到 Apache nutch

Question

我是第一次使用 Apache Nutch。爬取后如何将数据存入MySQL数据库？我希望能够轻松地在其他 Web 应用程序中使用数据。

我发现了一个相关的问题，但我不清楚代码id的哪一部分将被MySQL连接器替换。请帮忙提供一个简短的代码示例。

Answer 1

从http://mirror.nyi.net/apache//nutch/apache-nutch-1.2-src.zip获取源代码

org.apache.nutch.crawl.Crawl在编辑器中 公开课程。

查找变量Path crawlDb = new Path(dir + "/crawldb");

该变量将提示在哪里替换代码以获得您自己的CustomMySQLCrawl类。

持久性是在这次调用期间发生的：crawlDbTool.update(crawlDb, segs, true, true); // update crawldb因此您应该将其保存到数据库中。此时您可能需要考虑集成 hibernate。