小编Gou*_*tta的帖子

如何解析包含 xml 字符串的数据框?

如何解析包含其中一列中的 xml 数据的 xml 文件?

在我们的一个项目中,我们收到 xml 文件,其中一些列存储另一个 xml。在将此数据加载到数据帧时,内部 xml 被转换为StringType(这不是故意的),因此在查询数据时无法访问节点(使用点运算符)。

我已经在网上生动地四处寻找答案,但没有运气。在 GitHub 中发现了一个与我的用例完全相同的未解决问题。链接在这里。

https://github.com/databricks/spark-xml/issues/140

我的 xml 源文件如下所示。

+------+--------------------+
|  id  |               xml  |
+------+--------------------+
| 6723 |<?xml version="1....|
| 6741 |<?xml version="1....|
| 6774 |<?xml version="1....|
| 6735 |<?xml version="1....|
| 6828 |<?xml version="1....|
| 6764 |<?xml version="1....|
| 6732 |<?xml version="1....|
| 6792 |<?xml version="1....|
| 6754 |<?xml version="1....|
| 6833 |<?xml version="1....|
+------+--------------------+
Run Code Online (Sandbox Code Playgroud)

在 SQL Server 中,为了将 xml 存储在数据库列中,有XML数据类型,但 Spark SQL 中不存在相同的数据类型。

有没有人遇到同样的问题并找到任何解决方法?如果是,请分享。我们正在使用 …

apache-spark-xml

5
推荐指数
1
解决办法
2520
查看次数

标签 统计

apache-spark-xml ×1