Spark - 从DataFrame中提取单个值

Question

我有一个Spark DataFrame查询,保证返回单个Int值的单列.从生成的DataFrame中将此值作为Int提取的最佳方法是什么？

Answer 1

您可以使用 head

df.head().getInt(0)

要么 first

df.first().getInt(0)

有关详细信息,请查看DataFrame scala文档

Answer 2

在 中，如果是单个实体作为响应，Pyspark您可以简单地获取第一个元素，否则，将返回一个整体，然后您必须获得响应，即 2 维列表，例如dataframeone columnrowdimension-wisedf.head()[0][0]

df.head()[0]

Answer 3

这样可以解决您的问题。

df.map{
    row => row.getInt(0)
}.first()