小编Mar*_*tal的帖子

我有这样的数据:

df = sqlContext.createDataFrame([
    ('1986/10/15', 'z', 'null'), 
    ('1986/10/15', 'z', 'null'),
    ('1986/10/15', 'c', 'null'),
    ('1986/10/15', 'null', 'null'),
    ('1986/10/16', 'null', '4.0')],
    ('low', 'high', 'normal'))

我想计算low列之间的日期差异,2017-05-02并用low差异替换列.我已经在stackoverflow上尝试了相关的解决方案,但它们都不起作用.

我的操作系统是Ubuntu,我按照官方安装指南安装了lightgbm.但是,当我导入它时,会引发此错误:

ImportError:没有名为lightgbm的模块

我怎么解决这个问题？

运行这些linux命令行后,是否还需要转到/ python-package文件夹运行setup.py？

作业已提交并成功运行。但桶里根本就没有数据。我该如何解决呢？

df = spark.createDataFrame([["Amy", "lily", 12], ["john", "tom", 34]]).toDF(*["first_name", "last_name", "age"])
df.write.format("parquet").partitionBy("age").option("path", "gs://my_bucket/my_table")