小编phu*_*gdo的帖子

如何在ElasticSearch中索引和存储多种语言

我想弄清楚如何在ES中索引以下内容.

我有很多文件是来自网站的各种语言的爬虫.每个文件都有一个类别,如机场,餐厅,河流,海滩等,它的语言如阿拉伯语,英语

doc {语言:"eng",内容:"这里的东西",类别:"海滩"}

doc {语言:"vn",内容:"新潮",类别:"海滩"}

我想用每种语言索引和搜索文档;

我选择英文选项,并使用查询"here"=> RESUTLS进行搜索

我是不是该 :

  1. 为每种语言设置每个Elastic Core(每台机器每种语言).只是复制ES运行:)

    例如:创建elasticsearch_ENGLISH,elastichsearch_VIETNAMESE

  2. 使用ElasticSearch Eg的每个索引创建每种语言:创建索引

/ english/type /

/ vietnames/type / .当我搜索某些查询时,我只搜索语言索引

或者以其他方式做我不知道:)?

multilingual search search-engine elasticsearch

13
推荐指数
1
解决办法
6904
查看次数

一种从Mysql到Pig读取表数据的方法

每个人都知道Pig已经支持DBStorage,但它们只支持从Pig到mysql的加载结果

STORE data INTO DBStorage('com.mysql.jdbc.Driver', 'dbc:mysql://host/db', 'INSERT ...');
Run Code Online (Sandbox Code Playgroud)

但是请告诉我从mysql那样读表的方法

data = LOAD 'my_table' AS DBStorage('com.mysql.jdbc.Driver', 'dbc:mysql://host/db', 'SELECT * FROM my_table');
Run Code Online (Sandbox Code Playgroud)

这是我的代码

public class DBLoader extends LoadFunc {
    private final Log log = LogFactory.getLog(getClass());
    private ArrayList mProtoTuple = null;
    private Connection con;
    private String jdbcURL;
    private String user;
    private String pass;
    private int batchSize;
    private int count = 0;
    private String query;
    ResultSet result;
    protected TupleFactory mTupleFactory = TupleFactory.getInstance();

    public DBLoader() {
    }

    public DBLoader(String driver, String jdbcURL, String …
Run Code Online (Sandbox Code Playgroud)

mysql hadoop apache-pig

6
推荐指数
1
解决办法
6039
查看次数