Apache Sqoop和Flume可以互换使用吗？

Question

我是Big数据的新手.从Flume和Sqoop有什么不同的答案？,Flume和Sqoop都可以从源中提取数据并推送到Hadoop.任何人都可以指定exaclty使用水槽和sqoop在哪里？两者都可以用于相同的任务吗？

Answer 1

Flume和Sqoop都设计用于不同类型的数据源.

Sqoop适用于任何支持JDBC连接的RDBMS系统.另一方面,Flume适用于流式数据源,例如在您的环境中不断生成的日志数据.

特别,

• Sqoop可用于向/从RDBMS系统导入/导出数据,如Oracle,MS SQL Server,MySQL,PostgreSQL,Netezza,Teradata和其他一些支持JDBC连接的系统.
• Flume可用于从下面的来源摄取高吞吐量数据并插入下面的目的地(汇).
  • 常用的水槽来源:
    • 假脱机目录 - 正在创建大量文件的目录,主要用于收集和聚合日志数据
    • JMS - 从基于JMS的系统收集指标
    • 还有更多
  • 常用的水槽水槽:
    • HDFS
    • HBase的
    • Solr的
    • ElasticSearch
    • 还有更多

不,两个工具都不能用于实现相同的任务,例如水槽不能与数据库一起使用,而sqoop不能用于流数据源或平面文件.

如果你有兴趣,水槽也有一个替代品,做同样的事情称为chukwa.