小编rai*_*ros的帖子

Spark - CSV - 写入选项 - 报价

希望每个人都做得很好。

在查看问题的Spark csv 数据源选项时,我对可用的各种报价相关选项之间的差异感到非常困惑。

Spark-csv-报价选项

  1. 它们之间有什么详细的区别吗?
  2. 是否有一个选项会覆盖另一个选项,或者它们都一起工作?

使用链接问题中提到的示例来理解差异,但仍然有点困惑。感谢您的所有帮助。

csv apache-spark spark-csv databricks

5
推荐指数
1
解决办法
5123
查看次数

Databricks - 如何在初始化脚本中访问工作区文件

希望每个人都过得很好...

我们正在探索是否可以将一些 jar 组织为 Workspace 中文件夹的一部分,并将其作为 init 脚本的一部分移动。

例如,在工作区中我们有以下结构。

/Workspace/<Folder_Name1>/jars/sample_name_01.jar

初始化脚本将尝试将其移动到 DBFS/驱动程序节点文件系统中的路径。

!/bin/bash
cp /Workspace/<Folder_Name1>/jars/sample_name_01.jar /dbfs/jars/
cp /Workspace/<Folder_Name1>/jars/sample_name_01.jar /tmp/jars/
Run Code Online (Sandbox Code Playgroud)

当然,初始化脚本失败并显示错误消息

cp: cannot stat '/Workspace/<Folder_Name1>/jars/sample_name_01.jar': No such file or directory

已尝试使用包含和删除 /Workspace 的路径。我还尝试从网络终端访问该文件,并且我能够看到这些文件。

  1. 工作区文件可以通过 init 脚本访问吗?
  2. jar 和 whl/egg 文件有限制吗?
  3. 访问它们的正确语法是什么?
  4. 将 jar(只有少数)作为工作区文件或 DBFS 的一部分有意义吗?

感谢大家的帮助...干杯...

更新01:

尝试了通过其他方式收到的一些建议......

  1. 考虑到工作区中的初始化脚本是在没有引用的情况下引用的,/Workspace我也尝试过没有它们,但仍然存在同样的问题。
  2. 还尝试过列出文件并打印它们。路径本身似乎没有被识别。
  3. 也尝试过睡最多 2 分钟,给坐骑一些时间,但还是没有效果……

databricks azure-databricks gcp-databricks

5
推荐指数
1
解决办法
2472
查看次数