小编Aet*_*her的帖子

我正在编写一个与 Spark 的 JDBC 数据源实现有相似之处的数据源，我想问一下 Spark 如何处理某些故障场景。据我了解，如果执行程序在运行任务时死亡，Spark 将恢复执行程序并尝试重新运行该任务。然而，这在数据完整性和 Spark 的 JDBC 数据源 API（例如df.write.format("jdbc").option(...).save()）？

在的savePartition功能JdbcUtils.scala，我们看到火花调用commit并从数据库中URL生成的Java连接对象的回退功能/由用户提供的凭证（见下文）。但是如果一个 executor 在 commit() 完成之后或在 rollback() 被调用之前就死了，Spark 是否会尝试重新运行任务并再次写入相同的数据分区，实际上是在数据库中创建重复的提交行？如果 executor 在调用 commit() 或 rollback() 的过程中死亡，会发生什么？

try {
    ...
    if (supportsTransactions) {
        conn.commit()
    }
    committed = true
    Iterator.empty
} catch {
    case e: SQLException =>
        ...
        throw e
} finally {
    if (!committed) {
        // The stage must fail.  We got here through an exception path, so
        // let the exception through unless rollback() or …