使用文件通道在水槽中耗尽可用空间

Question

我正在使用Flume将Spool目录作为源,将HDFS作为接收器,将File作为通道.执行水槽工作时.我遇到了问题.内存通道工作正常.但我们需要使用文件通道实现相同的功能.使用文件频道我遇到了问题.

我在flume.env.sh文件中将JVM内存大小配置为3GB.请让我知道我们需要做的任何其他设置.

2016年1月20日20:05:27,099 ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor](org.apache.flume.SinkRunner $ PollingRunner.run:160) - 无法发送事件.以下是例外情况.java.lang.IllegalStateException:通道已关闭[channel = Artiva-memory-channel].由于java.io.IOException:可用空间耗尽,仅剩427515904字节,需要524288000字节

Answer 1

文件通道与内存无关，与HDD（磁盘）有关。这样的通道使用文件系统来存储数据。因此，检查写入检查点文件和数据文件的磁盘中有多少可用空间（请查看FileChannel参数）。