我在SQL Server中有大约1500列的表。我需要从该表中读取数据,然后将其转换为正确的数据类型格式,然后将记录插入Oracle DB。
为表中包含1500多个列的这种类型的表定义架构的最佳方法是什么。除了对列名和数据类型进行硬编码之外,还有其他选择吗?
Case class
StructType
使用的Spark版本为1.4
dataframe apache-spark apache-spark-sql
这是每日/每周安排Spark Jobs的推荐工具.1)Oozie 2)Luigi 3)Azkaban 4)Chronos 5)气流
提前致谢.
oozie azkaban luigi airflow mesos-chronos
airflow ×1
apache-spark ×1
apache-spark-sql ×1
azkaban ×1
dataframe ×1
luigi ×1
mesos-chronos ×1
oozie ×1