Azure Databricks 中的 Python 版本

Question

我正在尝试找出我在 Databricks 中使用的 python 版本。

为了找出我尝试过的

import sys
print(sys.version)

我得到的输出为3.7.3

但是，当我转到 Cluster --> SparkUI --> Environment 时

我看到集群 Python 版本是2。

这是指哪个版本？

当我尝试跑步时

%sh python --version

我仍然得到 Python 3.7.3

每个工作节点/驱动节点可以有不同的 python 版本吗？

注意：我使用的设置有 1 个工作节点和 1 个驱动程序节点（总共 2 个节点具有相同的规格），Databricks 运行时版本为 6.5 ML

Answer 1

这适用于所有笔记本，无论是gooogle colab还是MS Azure Databricks：

!python --version

Answer 2

更新：此问题已修复。

对于新集群：如果您创建一个新集群，它的 python 环境变量将为 3。

对于现有集群：您需要在“集群配置” > “高级”中的“环境变量”选项卡中添加，它会在环境变量中更改。

PYSPARK_PYTHON=/databricks/python3/bin/python3

谢谢让我们注意到这个。这是一个产品错误，目前我正在与产品团队合作尽快修复该问题。

使用 UI 创建的集群的默认 Python 版本是Python 3。

作为重现的一部分，我创建了 Databricks 运行时版本：6.5 ML 并观察到相同的行为。

集群 --> SparkUI --> 环境显示不正确的版本。