小编Sha*_*oms的帖子

如何将 Pandas 数据帧写入 Databricks dbfs/FileStore?

在此处输入图片说明在此处输入图片说明我是 Databricks 的新手,需要帮助将 Pandas 数据帧写入 databricks 本地文件系统。

我确实在 google 中搜索过,但找不到任何与此类似的情况,也尝试了 databricks(附加)提供的帮助 guid,但这也不起作用。尝试进行以下更改以找到我的运气,命令运行正常,但文件未写入目录(预计会创建 wrtdftodbfs.txt 文件)

  1. df.to_csv("/dbfs/FileStore/NJ/wrtdftodbfs.txt")

结果:抛出以下错误

FileNotFoundError: [Errno 2] 没有这样的文件或目录:'/dbfs/FileStore/NJ/wrtdftodbfs.txt'

  1. df.to_csv("\\dbfs\\FileStore\\NJ\\wrtdftodbfs.txt")

结果:没有错误,但也没有写入任何内容

  1. df.to_csv("dbfs\\FileStore\\NJ\\wrtdftodbfs.txt")

结果:没有错误,但也没有写入任何内容

  1. df.to_csv(path ="\\dbfs\\FileStore\\NJ\\",file="wrtdftodbfs.txt")

结果:TypeError: to_csv() 得到了一个意外的关键字参数“path”

  1. df.to_csv("dbfs:\\FileStore\\NJ\\wrtdftodbfs.txt")

结果:没有错误,但也没有写入任何内容

  1. df.to_csv("dbfs:\\dbfs\\FileStore\\NJ\\wrtdftodbfs.txt")

结果:没有错误,但也没有写入任何内容

该目录存在并且手动创建的文件显示出来,但 pandas to_csv 从不写入也不会出错。

dbutils.fs.put("/dbfs/FileStore/NJ/tst.txt","Testing file creation and existence")

dbutils.fs.ls("dbfs/FileStore/NJ")
Run Code Online (Sandbox Code Playgroud)

Out[186]: [FileInfo(path='dbfs:/dbfs/FileStore/NJ/tst.txt', name='tst.txt', size=35)]

感谢您的时间,如果所附的细节不够清楚,请原谅我。

python amazon-s3 dataframe pandas databricks

5
推荐指数
2
解决办法
1万
查看次数

标签 统计

amazon-s3 ×1

databricks ×1

dataframe ×1

pandas ×1

python ×1