根据组将数据发送到HDFS文件系统

Question

我在cassandra中有一个大数据集,我使用hive来分析和发送数据到hdfs文件系统.我想知道是否可以按appName进行分组,并根据appName将数据发送到differant hdfs文件系统(请注意应用程序名称未预定义)

appName数据

a1 abc

a1 pqr

a1 qwe

我的

a2数据

a2 abc

a2 bnm

a3 ewr

a3 asf

a4 abc123

a1数据集 - >/apps/a1 a2数据集 - >/apps/a2等

Answer 1

动态分区：https://cwiki.apache.org/confluence/display/Hive/Tutorial#Tutorial-DynamicpartitionInsert可能适合您。
您将无法选择 HDFS 中的路径，但不同的应用程序将转到不同的文件夹。