小编Arj*_*v96的帖子

创建数据集时使用@JsonProperty 重命名 spark 中的列

有没有办法在创建数据集时使用 Jackson 注释重命名数据集中的列名?

我的编码器类如下:

import com.fasterxml.jackson.annotation.JsonProperty;
import lombok.*;
import scala.Serializable;
import javax.persistence.Table;

      @Builder 
      @Data 
      @AllArgsConstructor
      @EqualsAndHashCode 
      @Table(name = "sample_table")
      public class SampleRecord implements Serializable {
         @JsonProperty("sample_id")
         private Long sampleId;
         @JsonProperty("sample_name")
         private String name;
         @JsonProperty("sample_desc")
         private String description; 
      }
Run Code Online (Sandbox Code Playgroud)

我的目标是根据@JsonProperty 重命名列,以便我可以重新使用相同的类和 json 功能。

请找到模块的相关版本: - Spark : 2.4.0 (with scala 2.11) - jackson-module-scala_2.11 : 2.9.6

如果您需要更多信息,请与我们联系。帮助表示赞赏。

java scala apache-spark apache-spark-encoders

6
推荐指数
1
解决办法
803
查看次数

标签 统计

apache-spark ×1

apache-spark-encoders ×1

java ×1

scala ×1