小编San*_*tty的帖子

在Spark中为具有1500列的表定义DataFrame模式

我在SQL Server中有大约1500列的表。我需要从该表中读取数据,然后将其转换为正确的数据类型格式,然后将记录插入Oracle DB。

为表中包含1500多个列的这种类型的表定义架构的最佳方法是什么。除了对列名和数据类型进行硬编码之外,还有其他选择吗?

  1. 使用 Case class
  2. 使用StructType

使用的Spark版本为1.4

dataframe apache-spark apache-spark-sql

2
推荐指数
1
解决办法
1354
查看次数

及时安排火花工作

这是每日/每周安排Spark Jobs的推荐工具.1)Oozie 2)Luigi 3)Azkaban 4)Chronos 5)气流

提前致谢.

oozie azkaban luigi airflow mesos-chronos

1
推荐指数
1
解决办法
785
查看次数