ste*_*n35 10 java apache-spark databricks
我正在编写一个需要在本地和 Databricks 上运行的 spark 作业。
每个环境（文件路径）中的代码必须略有不同，因此我试图找到一种方法来检测作业是否在 Databricks 中运行。到目前为止，我发现的最好方法是在根目录中查找“dbfs”目录，如果存在，则假设它在 Databricks 上运行。感觉这不是正确的解决方案。有没有人有更好的主意？
您可以简单地检查环境变量是否存在，例如：
def isRunningInDatabricks(): Boolean =
sys.env.contains("DATABRICKS_RUNTIME_VERSION")
| 归档时间： |
|
| 查看次数： |
1773 次 |
| 最近记录： |