如何查看Spark中的缓存数据帧/rdds/表列表？

Ram*_*sey 5 apache-spark-sql pyspark

我计划保存一些数据帧/表以缓存在 Spark 中。我想知道缓存了多少数据帧/表？

人们可以通过 Spark UI 的存储选项卡或通过REST API查看缓存的 RDD/Dataframe 的详细信息。

归档时间：	8 年，9 月前
查看次数：	5770 次
最近记录：	5 年，4 月前

是否有 API 函数可以显示 RDD 的“已缓存的分数”？ 1

更多相关链接

Spark调用ShuffleBlockFetcherIterator时发生了什么？ 12

将相同的函数应用于spark数据帧行的所有字段 8

在 pyspark 中积累数据帧的最有效方法是什么？ 5

Spark：测量 ALS 的性能 5

无法在 pyspark 中加载已保存的 Spark 模型：“java.lang.NoSuchMethodException” 5

如何从 Apache Spark (pyspark) 使用 BigQuery 进行身份验证？ 4

如何在Scala中将DataFrame模式写入文件 3

如何可视化pyspark ml的LDA或其他聚类 2

如何在 AWSglue 中使用从一个胶水脚本到另一个胶水脚本的函数 2

使用 groupby spark 数据帧中的条件聚合 0

使用Git将特定文件重置或还原到特定版本？ 4255

如何退出Vim编辑器？ 3558

event.preventDefault()与return false 2891

何时在JavaScript中使用双引号或单引号？ 1903

如何基于通配符匹配以递归方式查找当前和子文件夹中的所有文件？ 1695

如何将包含历史记录的SVN存储库迁移到新的Git存储库？ 1486

如何在Git中有选择地合并或选择来自另一个分支的更改？ 1374

varchar和nvarchar有什么区别？ 1300

谁正在侦听Mac OS X上的给定TCP端口？ 1267

如何按值排序多维数组？ 1058