我有一些自定义 java 对象(它们内部由其他自定义对象组成)。我希望将这些以 parquet 格式写入 HDFS。
即使经过大量搜索,大多数建议似乎都是围绕使用 avro 格式和 parquet 的内部 AvroConverter 来存储对象。
看到这里和这里,我似乎必须编写一个自定义的 WriterSupport 来完成此任务。
有一个更好的方法吗?直接编写自定义对象还是使用 Avro 之类的东西作为中间模式定义,哪个更优化?
java hadoop hdfs parquet
hadoop ×1
hdfs ×1
java ×1
parquet ×1