相关疑难解决方法(0)

SPARK是Dataframes统一采样的样本方法吗?

我想从数据框中随机选择一些行,我知道样本方法可以做到这一点,但我担心我的随机性应该是统一采样吗?那么,我想知道Spark on Dataframes的示例方法是否统一?

谢谢

sample apache-spark spark-dataframe

7
推荐指数
1
解决办法
3177
查看次数

简单随机采样和数据帧 SAMPLE 函数如何在 Apache Spark (Scala) 中工作?

Q1. 我试图使用带有参数 withReplacement: false,fraction: 0.6 的示例函数从 Spark 数据帧(13 行)中获取一个简单的随机样本,但每次运行它时它都会给我不同大小的样本,尽管它在以下情况下工作正常我设置了第三个参数(种子)。为什么这样?

Q2。随机数生成后样本是如何获得的?

提前致谢

scala dataframe apache-spark apache-spark-sql pyspark

5
推荐指数
1
解决办法
1万
查看次数