apache Spark sql 表覆盖问题

Question

我使用下面的代码从 databricks 中的数据帧创建一个表并遇到错误。

df.write.saveAsTable("newtable")

第一次工作正常，但如果我像下面这样重写，则可重复使用

df.write.mode(SaveMode.Overwrite).saveAsTable("newtable")

我收到以下错误。

错误信息：

org.apache.spark.sql.AnalysisException: Can not create the managed table newtable. The associated location dbfs:/user/hive/warehouse/newtable already exists

Answer 1

SQL 配置“spark.sql.legacy.allowCreatingManagedTableUsingNonemptyLocation”已在版本 3.0.0 中删除。删除它是为了防止丢失非默认值的用户数据。

Answer 2

• 不同SaveMode下saveAsTable和insertInto有什么区别？

运行以下命令来修复问题：

     dbutils.fs.rm("dbfs:/user/hive/warehouse/newtable/", true)

或者

设置标志

spark.sql.legacy.allowCreatingManagedTableUsingNonemptyLocation = true

spark.conf.set("spark.sql.legacy.allowCreatingManagedTableUsingNonemptyLocation","true")