小编lea*_*pes的帖子

将自定义 java 对象写入 Parquet

我有一些自定义 java 对象(它们内部由其他自定义对象组成)。我希望将这些以 parquet 格式写入 HDFS。

即使经过大量搜索,大多数建议似乎都是围绕使用 avro 格式和 parquet 的内部 AvroConverter 来存储对象。

看到这里这里,我似乎必须编写一个自定义的 WriterSupport 来完成此任务。

有一个更好的方法吗?直接编写自定义对象还是使用 Avro 之类的东西作为中间模式定义,哪个更优化?

java hadoop hdfs parquet

4
推荐指数
1
解决办法
5902
查看次数

标签 统计

hadoop ×1

hdfs ×1

java ×1

parquet ×1