小编Yi *_* Du的帖子

将 Spark 数据帧写入 Delta Lake

我正在尝试使用文档提供的示例代码将 Spark 数据帧转换为增量格式,但总是收到这个奇怪的错误。您能帮忙或指导一下吗?

df_sdf.write.format("delta").save("/mnt/.../delta/")
Run Code Online (Sandbox Code Playgroud)

错误看起来像:

org.apache.spark.SparkException: Job aborted.

--------------------------------------------------------------------------- Py4JJavaError Traceback (most recent call last) <command-3011941952225495> in <module> ----> 1 df_sdf.write.format("delta").save("/mnt/.../delta/") /databricks/spark/python/pyspark/sql/readwriter.py in save(self, path, format, mode, partitionBy, **options) 737 self._jwrite.save() 738 else: --> 739 self._jwrite.save(path) 740 741 @since(1.4)
/databricks/spark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py in call(self, *args) 1255 answer = self.gateway_client.send_command(command) 1256 return_value = get_return_value( -> 1257 answer, self.gateway_client, self.target_id, self.name) 1258 1259 for temp_arg in temp_args:

/databricks/spark/python/pyspark/sql/utils.py in deco(a, *kw)
Run Code Online (Sandbox Code Playgroud)

apache-spark pyspark azure-databricks delta-lake

5
推荐指数
2
解决办法
3万
查看次数

如何将数字转换为百分比

对于pyspark数据框,您知道如何将带小数的数字转换为百分比格式吗?我什至可以确定我想要保留的小数点位数。

apache-spark-sql pyspark

3
推荐指数
1
解决办法
6002
查看次数

如何在 PySpark 中从年、月和日创建日期?

我有关于年、月和日的三列。如何使用这些在 PySpark 中创建日期?

python apache-spark apache-spark-sql pyspark pyspark-dataframes

3
推荐指数
2
解决办法
5296
查看次数