将文件导入HDFS的不同方法

Gau*_*rav 8 import hadoop hdfs

我想知道将数据导入HDFS的不同方法有哪些.

我是Hadoop的新手,直到这个时候我还是一个java web开发人员.我想知道我是否有一个创建日志文件的Web应用程序,如何将日志文件导入HDFS.

Ash*_*ith 10

关于如何将数据摄入HDFS有很多方法,让我试着在这里说明一下:

  1. hdfs dfs -put - 将文件从本地文件系统插入HDFS的简单方法
  2. HDFS Java API
  3. Sqoop - 用于将数据传入/传出数据库
  4. Flume - 流媒体文件,日志
  5. Kafka - 分布式队列,主要用于近实时流处理
  6. Nifi - 在Apache上孵化项目,用于将数据移入HDFS而无需进行大量更改

将Web应用程序日志引入HDFS的最佳解决方案是通过Flume.