如何使用数据块禁用 pyarrow

Question

我正在尝试将 pyspark 数据帧转换为 databricks 中的 pandas 数据帧。我的databricks运行时版本是7.3 LTS（Scala 2.12，Spark 3.0.1）\n所以我编写了以下代码

\n

df_temp=spark_temp.toPandas()\n

\n

但我收到错误消息

\n

UserWarning: toPandas attempted Arrow optimization because 'spark.sql.execution.arrow.enabled' is set to true,\n

\n

所以我尝试按照以下方法禁用 pyarrow

\n

spark.conf.set(\xe2\x80\x9cspark.sql.execution.arrow.enabled\xe2\x80\x9d, \xe2\x80\x9cfalse\xe2\x80\x9d)\n

\n

但我收到错误消息

\n

SyntaxError: invalid character in identifier\n

\n

它指向spark.sql\n你能帮我解决这个问题吗

\n

Answer 1

问题出在那些双引号上，试试这个：

Spark.conf.set("spark.sql.execution.arrow.enabled", "false")