小编Ale*_*Ott的帖子

我有一个 pandas 数据框，我想将其转换为 Spark 数据框。通常，我使用下面的代码从 pandas 创建 Spark 数据框，但突然我开始收到以下错误，我知道 pandas 已删除 iteritems() 但我当前的 pandas 版本是 2.0.0 并且我尝试安装较小的版本并尝试创建 Spark df 但我仍然遇到相同的错误。该错误在 Spark 函数内部调用。解决这个问题的办法是什么？我应该安装哪个 pandas 版本才能创建 Spark df. 我还尝试更改集群数据块的运行时并尝试重新运行，但仍然遇到相同的错误。

import pandas as pd
spark.createDataFrame(pd.DataFrame({'i':[1,2,3],'j':[1,2,3]}))

error:-
UserWarning: createDataFrame attempted Arrow optimization because 'spark.sql.execution.arrow.pyspark.enabled' is set to true; however, failed by the reason below:
  'DataFrame' object has no attribute 'iteritems'
Attempting non-optimization as 'spark.sql.execution.arrow.pyspark.fallback.enabled' is set to true.
  warn(msg)
AttributeError: 'DataFrame' object has no attribute 'iteritems'

我希望使用 Databricks Connect 来开发 pyspark 管道。DBConnect 真的很棒，因为我能够在实际数据所在的集群上运行我的代码，因此它非常适合集成测试，但我也希望能够在开发和单元测试（pytest使用pytest-spark）期间，简单地使用本地火花环境。

有没有办法配置 DBConnect，以便对于一个用例我只需使用本地 Spark 环境，但对于另一个用例则使用 DBConnect？

我在 Databricks 上运行查询：

DROP TABLE IF EXISTS dublicates_hotels;
CREATE TABLE IF NOT EXISTS dublicates_hotels
...

我试图理解为什么我收到以下错误：

SQL 语句错误： AnalysisException：无法创建表（' default. dublicates_hotels'）。关联位置 ('dbfs:/user/hive/warehouse/dublicates_hotels') 不为空，但它不是 Delta 表

我已经找到了解决它的方法（通过手动删除它）：

dbutils.fs.rm('.../dublicates_hotels',recurse=True)

但我不明白为什么它仍然保留桌子？即使我创建了一个新集群（终止了前一个集群），并且我正在附加一个新集群来运行此查询。

任何人都可以帮助我理解这一点吗？

我正在使用 Azure Databricks 使用 ADLS Gen2 在 Azure Blob 存储中创建增量表，但在最后一行收到错误“初始化配置失败检测到 fs.azure.account.key 的配置值无效”

%scala
spark.conf.set(
    "fs.azure.account.oauth2.client.secret",
    "<storage-account-access-key>")
friends = spark.read.csv('myfile/fakefriends-header.csv',
   inferSchema = True, header = True)
friends.write.format("delta").mode('overwrite')\
   .save("abfss://tempfile@tempaccount.dfs.core.windows.net/myfile/friends_new")

请帮助我如何避免这个错误

I have a scenario in my project , where I am reading the kafka topic messages using spark-sql-2.4.1 version. I am able to process the day using structured streaming. Once the data is received and after processed I need to save the data into respective parquet files in hdfs store.

I am able to store and read parquet files, I kept a trigger time of 15 seconds to 1 minutes. These files are very small in size hence resulting into …

您如何看待 - 应该实现哪些功能以使Emacs中的Git更舒适？magit/git.el/egg/git-emacs/...中缺少哪些功能？

databricks文档描述了如何对增量表进行合并。

SQL 中的语法

MERGE INTO [db_name.]target_table [AS target_alias]
USING [db_name.]source_table [<time_travel_version>] [AS source_alias]
ON <merge_condition>
[ WHEN MATCHED [ AND <condition> ] THEN <matched_action> ]
[ WHEN MATCHED [ AND <condition> ] THEN <matched_action> ]
[ WHEN NOT MATCHED [ AND <condition> ]  THEN <not_matched_action> ]

可以使用。有 python 等效项可用吗？

我正在使用 Python 通过databricks-connect. 在墙后面，这使用了 Spark，它确实是基于 java 的，所以为了使用它，我需要 java。JDK已下载（版本14），设置为JAVA_HOME env，但是当我运行代码时，出现以下错误：

引起原因：java.lang.reflect.InaccessibleObjectException：无法使私有java.nio.DirectByteBuffer(long,int)可访问：模块java.base不会“打开java.nio”到未命名模块@bccb269

这是崩溃的代码

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

我用谷歌搜索但找不到这个错误，我认为这不是我第一次遇到。任何想法这个错误意味着什么以及如何修复它？

我正在尝试编写一些应用程序,它执行数据分析,存储在相当大的XML文件中(从10到800MB).每组数据都存储为单个标记,具体数据指定为attrobutes.我目前是来自HaXml的saxParse,我对使用它时的内存使用情况不满意.在解析15Mb XML文件时,它消耗了超过1Gb的内存,尽管我试图不在列表中存储数据,并立即处理它.我使用以下代码:

importOneFile file proc ioproc = do
  xml <- readFile file
  let (sxs, res) = saxParse file $ stripUnicodeBOM xml
  case res of
      Just str -> putStrLn $ "Error: " ++ str;
      Nothing -> forM_ sxs (ioproc . proc . (extractAttrs "row"))

其中'proc' - 执行将数据从属性转换为记录的过程,以及'ioproc' - 执行某些IO操作的过程 - 输出到屏幕,存储在数据库中等.

如何在XML解析期间减少内存消耗？应该切换到另一个XML解析器帮助吗？

更新:哪个解析器支持不同的输入编码 - utf-8,utf-16,utf-32等？

我们正在 Azure Databricks 中尝试 Unity 目录。我们将预先存在的工作区连接到新的元存储。

我创建了一个新目录。当我运行笔记本并尝试写入表“myfirstcatalog.bronze.mytable”时，出现错误

[UC_NOT_ENABLED] 此集群上未启用 Unity Catalog。

我已经在预先存在的集群和新集群上运行了这个。