小编BAR*_*ATH的帖子

Apache Nifi - 使用 Kafka + 合并内容 + 放置 HDFS 以避免小文件

我在 Kafka 主题中有大约 2000000 条消息,我想使用 NiFi 将这些记录放入 HDFS,所以我PutHDFS为此使用处理器,但ConsumeKafka_0_10它在 HDFS 中生成小文件,所以我使用合并内容处理器来合并记录在推送文件之前。 在此输入图像描述 如果配置需要更改,请提供帮助 这对于少量消息来说效果很好,但当涉及到具有大量数据的主题时,会为每条记录写入一个文件。

谢谢你!!

apache-nifi hortonworks-dataflow

5
推荐指数
1
解决办法
1548
查看次数

正则表达式获取Scala中最后一个分隔线后面的数字

我的路线是 889¦20457892¦955

我想得到955输出,这是我的代码,但它给出None了结果

val pattern = "(^¦*)$\\d+".r
val str = "889¦20457892¦955"
println(pattern findFirstIn str)
Run Code Online (Sandbox Code Playgroud)

这是正确的正则表达式吗?

regex parsing scala

1
推荐指数
1
解决办法
107
查看次数