小编wha*_*ish的帖子

尝试使用两列 [Seq(), String] 创建数据框 - Spark

当我在 spark-shell 上运行以下命令时,我得到一个数据框:

scala> val df = Seq(Array(1,2)).toDF("a")

scala> df.show(false)
+------+
|a     |
+------+
|[1, 2]|
+------+
Run Code Online (Sandbox Code Playgroud)

但是当我运行以下命令来创建一个包含两列的数据框时:

scala> val df1 = Seq(Seq(Array(1,2)),"jf").toDF("a","b")
<console>:23: error: value toDF is not a member of Seq[Object]
    val df1 = Seq(Seq(Array(1,2)),"jf").toDF("a","b")
Run Code Online (Sandbox Code Playgroud)

我收到错误:

值 toDF 不是 Seq[Object] 的成员。

我该怎么做?toDF 是否仅支持具有原始数据类型的序列?

scala apache-spark spark-dataframe

2
推荐指数
1
解决办法
8512
查看次数

如何检查文件夹中是否有任何制表符分隔文件?

我试图在一个文件夹中搜索所有制表符分隔文件,如果找到任何文件,我需要使用bash将它们全部传输到另一个文件夹.

在我的代码中,我目前正在尝试查找所有文件,但不知何故它无法正常工作.

这是我的代码:

>nul 2>nul dir /a-d "folderName\*" && (echo Files exist) || (echo No file found)
Run Code Online (Sandbox Code Playgroud)

提前致谢 :)

bash

1
推荐指数
1
解决办法
52
查看次数

python pandas 在数据框列中添加列表作为默认值

我想在数据框 df 中创建一个新列,该列将填充所有行[np.nan]

    df['new'] = [np.nan]
Run Code Online (Sandbox Code Playgroud)

我明白了

ValueError: Length of values does not match length of index
Run Code Online (Sandbox Code Playgroud)

如果我尝试

    test['new'] = np.nan
    test['new'] = test['new'].astype('object')
    test['new'] = [np.nan]
Run Code Online (Sandbox Code Playgroud)

我明白了

ValueError: Length of values does not match length of index
Run Code Online (Sandbox Code Playgroud)

我想确保所有行都填充了包含以下内容的列表nan

python pandas

1
推荐指数
1
解决办法
2931
查看次数

标签 统计

apache-spark ×1

bash ×1

pandas ×1

python ×1

scala ×1

spark-dataframe ×1