小编Nic*_*Liu的帖子

如何在没有 Spark 的情况下从 S3 读取 Parquet 文件?爪哇

目前,我正在使用 Apache ParquetReader 来读取本地 parquet 文件,它看起来像这样:

ParquetReader<GenericData.Record> reader = null;
    Path path = new Path("userdata1.parquet");
    try {
        reader = AvroParquetReader.<GenericData.Record>builder(path).withConf(new Configuration()).build();
        GenericData.Record record;
        while ((record = reader.read()) != null) {
            System.out.println(record);
Run Code Online (Sandbox Code Playgroud)

但是,我尝试通过 S3 访问镶木地板文件而不下载它。有没有办法直接用镶木地板阅读器解析输入流?

java hadoop amazon-s3 apache-spark parquet

10
推荐指数
1
解决办法
1万
查看次数

标签 统计

amazon-s3 ×1

apache-spark ×1

hadoop ×1

java ×1

parquet ×1