小编Shi*_*tar的帖子

使用拦截器过滤Flume中的日志文件

我有一个http服务器写日志文件然后我使用Flume首先加载到HDFS我想根据我的标题或正文中的数据过滤数据.我读到我可以使用带有正则表达式的拦截器来执行此操作,有人可以解释我需要做什么吗?我是否需要编写覆盖Flume代码的Java代码?

另外我想取数据并根据标题发送到另一个接收器(即source = 1转到sink1而source = 2转到sink2)这是怎么做的?

谢谢,

西蒙

hadoop flume

3
推荐指数
1
解决办法
1万
查看次数

配置Solr以将UUID用作密钥

我正在尝试配置Solr 4以使用UUID,到目前为止我没有成功

通过阅读文档,我看到了两种不同的方法来配置schema.xml以使用UUID(两者都不起作用)

对于我需要写的两个

<fieldType name="uuid" class="solr.UUIDField" indexed="true" />
Run Code Online (Sandbox Code Playgroud)

选项1:添加:

<field name="id" type="uuid" indexed="true" stored="true" default="NEW" multiValued="false"/>
Run Code Online (Sandbox Code Playgroud)

并确保删除该行

<uniqueKey>id</uniqueKey>
Run Code Online (Sandbox Code Playgroud)

选项2添加:

<field name="id" type="uuid" indexed="true" stored="true" required="true" multiValued="false" /> 
Run Code Online (Sandbox Code Playgroud)

这两个选项都无法正常工作并返回org.apache.solr.common.SolrException:org.apache.solr.common.SolrException:初始化QueryElevationComponent时出错.

我还尝试使用配置向colrconfig.xml文件添加一行:

<updateRequestProcessorChain name="uuid">
<processor class="solr.UUIDUpdateProcessorFactory"> 
    <str name="fieldName">uniqueKey</str> 
</processor>    
<processor class="solr.RunUpdateProcessorFactory" />
</updateRequestProcessorChain>
Run Code Online (Sandbox Code Playgroud)

谢谢,

西蒙

solr solrj solr4

3
推荐指数
1
解决办法
4712
查看次数

标签 统计

flume ×1

hadoop ×1

solr ×1

solr4 ×1

solrj ×1