BdE*_*eer 5 java-8 apache-spark apache-spark-sql
我在 Spark v2.4.1 中使用 Java 8。
我正在尝试Map使用名为 typedLit 的 Spark 函数添加。但是得到编译错误。我如何在 Java API 中做到这一点?
下面是场景:
Map<Integer,Integer> lookup_map= new HashMap<>();
lookup_map.put(1,11);
lookup_map.put(2,21);
lookup_map.put(3,31);
lookup_map.put(4,41);
lookup_map.put(5,51);
JavaSparkContext javaSparkContext = JavaSparkContext.fromSparkContext(sparkSession.sparkContext());
Column typedMapCol = functions.typedLit(lookUpScoreHm, Map<Encoders.INT(), Encoders.INT()> );
// this is not correct and giving error in at typedLit.
Dataset<Row> resultDs= dataDs
.withColumn("map_col", typedMapCol)
Run Code Online (Sandbox Code Playgroud)
如何在 Java 8 中定义 functions.typedLit?
| 归档时间: |
|
| 查看次数: |
312 次 |
| 最近记录: |