小编use*_*470的帖子

如何使用 PySpark 检查 Hive 表是否存在

我想使用以下命令检查schemaname.tablenameHive 中是否存在表pysparkSQL.

Scala 中有一个选项。spark.catalog.tableExists("schemaname.tablename")但是,相同的功能无法通过pySpark.

寻找一种快速而干净的方法来检查 Hive 表是否存在使用 PySpark

python-2.7 apache-spark-sql pyspark

6
推荐指数
3
解决办法
4519
查看次数

使用 PySpark 从表中识别分区键列

我需要帮助来使用 PySpark 查找 Hive 表的唯一分区列名称。该表可能有多个分区列,并且最好输出应返回 Hive 表的分区列列表。

如果结果还包括分区列的数据类型,那就太好了。

任何建议都会有帮助。

python-2.7 apache-spark-sql pyspark

4
推荐指数
2
解决办法
8752
查看次数

标签 统计

apache-spark-sql ×2

pyspark ×2

python-2.7 ×2