通过JDBC从RDBMS读取时分区为spark

Question

我在集群模式下运行spark并通过JDBC从RDBMS读取数据.

根据Spark 文档,这些分区参数描述了在从多个worker并行读取时如何对表进行分区:

• partitionColumn
• lowerBound
• upperBound
• numPartitions

这些是可选参数.

如果我不指定这些,会发生什么:

• 只有1名工人读取整个数据？
• 如果它仍然并行读取,它如何分区数据？

Answer 1

如果没有指定{ partitionColumn,lowerBound,upperBound,numPartitions}或{ predicates}星火将使用一个执行者,并创建一个非空分区.所有数据都将使用单个事务处理,并且读取既不会分发也不会并行化.

也可以看看:

• 从JDBC源迁移数据时如何优化分区？
• 如何使用DataFrame和JDBC连接提高慢速Spark作业的性能？