嗨,我在笔记本中有以下代码,并通过托盘进行代码处理python spark:
mydataNoSQL.createOrReplaceTempView("mytable")
spark.sql("SELECT * from mytable")
return mydataNoSQL
def getsameData(df,spark):
result = spark.sql("select * from mytable where temeperature is not null")
return result.rdd.sample(False, 0.1).map(lambda row : (row.temperature))
Run Code Online (Sandbox Code Playgroud)
我需要一个实例RDD,但正在获取类'pyspark.rdd.PipelinedRDD'
任何帮助都会很好。