通过 requirements.txt 在 Azure Databricks 上维护库/包

Question

有很好的文档可以在 azure databricks 上 1-by-1 安装软件包，但没有一种方法可以执行以下操作：

pip install -r requirements.txt

或者完全使用需求文件。我正在管理一个相当大的库，并且想要一个简单的过程，如果可能的话，允许一次安装所有包/库！

Answer 1

要使第三方或本地构建的代码可用于集群上运行的执行环境，您可以在集群上安装库。库可以用 Python、Java、Scala 和 R 编写。您可以上传 Java、Scala 和 Python 库，并指向 PyPI、Maven 和 CRAN 存储库中的外部包。

您可以使用 UI、CLI 以及调用库 API 来管理库。

有关其他方法，请参阅Databricks CLI和Libraries API。

在 Databricks Runtime 5.1 及更高版本中，您还可以使用库实用程序将 Python 库直接安装到笔记本会话中。由于即使所有笔记本都在同一集群上运行，安装到笔记本中的库也能保证不会干扰安装到任何其他笔记本中的库，因此 Databricks 建议您尽可能使用此方法。

请参阅创建工作空间库来创建库。这非常简单的任务。

您可以在下面找到有关同一内容的完整文档

https://docs.databricks.com/user-guide/libraries.html

希望能帮助到你。