当我在 spark-shell 上运行以下命令时,我得到一个数据框:
scala> val df = Seq(Array(1,2)).toDF("a")
scala> df.show(false)
+------+
|a |
+------+
|[1, 2]|
+------+
Run Code Online (Sandbox Code Playgroud)
但是当我运行以下命令来创建一个包含两列的数据框时:
scala> val df1 = Seq(Seq(Array(1,2)),"jf").toDF("a","b")
<console>:23: error: value toDF is not a member of Seq[Object]
val df1 = Seq(Seq(Array(1,2)),"jf").toDF("a","b")
Run Code Online (Sandbox Code Playgroud)
我收到错误:
值 toDF 不是 Seq[Object] 的成员。
我该怎么做?toDF 是否仅支持具有原始数据类型的序列?
我试图在一个文件夹中搜索所有制表符分隔文件,如果找到任何文件,我需要使用bash将它们全部传输到另一个文件夹.
在我的代码中,我目前正在尝试查找所有文件,但不知何故它无法正常工作.
这是我的代码:
>nul 2>nul dir /a-d "folderName\*" && (echo Files exist) || (echo No file found)
Run Code Online (Sandbox Code Playgroud)
提前致谢 :)
我想在数据框 df 中创建一个新列,该列将填充所有行[np.nan]
df['new'] = [np.nan]
Run Code Online (Sandbox Code Playgroud)
我明白了
ValueError: Length of values does not match length of index
Run Code Online (Sandbox Code Playgroud)
如果我尝试
test['new'] = np.nan
test['new'] = test['new'].astype('object')
test['new'] = [np.nan]
Run Code Online (Sandbox Code Playgroud)
我明白了
ValueError: Length of values does not match length of index
Run Code Online (Sandbox Code Playgroud)
我想确保所有行都填充了包含以下内容的列表nan