小编Aks*_*ale的帖子

使用 python 将 databricks 数据帧写入 S3

我有一个名为 df 的 databricks 数据框。我想将其作为 csv 文件写入 S3 存储桶。我有 S3 存储桶名称和其他凭据。我检查了此处给出的在线文档https://docs.databricks.com/spark/latest/data-sources/aws/amazon-s3.html#mount-aws-s3,它说使用以下命令

dbutils.fs.mount(s"s3a://$AccessKey:$SecretKey@$AwsBucketName", s"/mnt/$MountName", "sse-s3")

dbutils.fs.put(s"/mnt/$MountName", "<file content>")
Run Code Online (Sandbox Code Playgroud)

但我拥有的是数据框而不是文件。我怎样才能实现它?

amazon-s3 amazon-web-services apache-spark pyspark databricks

5
推荐指数
1
解决办法
2万
查看次数

将字典列表作为 csv 直接写入 S3

我有一个字典列表,例如 temp_dict = [{'id':'1', 'name':'john'},{'id':'2', 'name':'jake'},{'id':'3', 'name':'jacob'}] 是否有一种方法可以直接将此字典作为 csv 文件(管道分隔)写入 S3。我不想从此列表中在本地创建 csv 文件,然后将其复制到 S3。

python csv amazon-s3 amazon-web-services

4
推荐指数
1
解决办法
8481
查看次数