通常在 Azure/AWS 上的 Databricks 上,要读取存储在 Azure Blob/S3 上的文件,我会挂载存储桶或 Blob 存储,然后执行以下操作:
如果使用 Spark
df = spark.read.format('csv').load('/mnt/my_bucket/my_file.csv', header="true")
如果直接使用 pandas,则将 /dbfs 添加到路径中:
df = pd.read_csv('/dbfs/mnt/my_bucket/my_file.csv')
我正在尝试使用 GCP 在 Databricks 的托管版本上执行完全相同的操作,尽管我成功地安装了我的存储桶并使用 Spark 读取它,但我无法直接使用 Pandas 执行此操作,添加 /dbfs 不起作用我收到No such file or directory: ...错误
你们中有人遇到过类似的问题吗?我错过了什么吗?
还有当我这样做的时候
%sh
ls /dbfs
Run Code Online (Sandbox Code Playgroud)
尽管我可以在 UI 中看到 dbfs 浏览器以及已安装的存储桶和文件,但它没有返回任何内容
谢谢您的帮助
python pandas google-cloud-platform databricks gcp-databricks