Databricks 文件系统 - %sh ls 与 %fs ls

Question

我有一些文件位于%sh ls，我想将这些文件移动到 databricks 的文件系统中（使它们在 中可见%fs ls）。

%sh ls你们中有人知道和之间有什么区别%fs ls，以及如何在它们之间移动文件吗？

我知道我们可以利用它dbutils.fs.cp来移动已经就位的文件%fs ls。

任何帮助或指示表示赞赏。

Answer 1

当您通过 执行命令时%sh，它们仅在驱动程序节点上执行，并显示该机器上的内容。当您执行此操作时%fs ls，它默认显示 DBFS（Databricks 文件系统）的内容，但如果您file://向路径添加前缀，它也可以显示本地内容。

您可以复制或移动文件，如下所示：

1. 使用dbutils.fs.cp("file:///local-path", "dbfs-path")（或dbutils.fs.mv）
2. 通过使用所谓的 FUSE 挂载将 DBFS 挂载到本地计算机 - 您需要将前缀添加/dbfs/到您想要在 DBFS 上拥有的路径，例如/dbfs/FileStore/....（如果您使用 DBR >= 7.x 的社区版，那么它可能不起作用，所以你只有第一种方法）

PS 您可以在文档中找到更多信息。