从 PyCharm IDE 执行 databricks magic 命令

Question

借助 databricks-connect，我们可以从许多 IDE 成功运行在 Databricks 或 Databricks 笔记本中编写的代码。Databricks 还创建了许多神奇命令来支持其功能，即通过添加%sql或 等命令在每个单元中运行多语言支持%md。我当前面临的一个问题是当我尝试在 Pycharm 中执行 Databricks 笔记本时，如下所示：

• 如何从 PyCharm 执行 Databricks 特定的魔法命令。例如，使用此命令在 Databricks 中的“完成”中导入脚本或笔记本 -

  %run
  './FILE_TO_IMPORT'
  

在 IDE 中工作的地方from FILE_TO_IMPORT import XYZ。

每次我下载 Databricks 笔记本时，它都会注释掉魔法命令，这使得它无法在 Databricks 环境之外的任何地方使用。

每次我想做任何开发时都转换所有的databricks magic 命令，效率真的很低。

我可以设置任何配置来自动检测 Databricks 特定的魔法命令吗？

对此的任何解决方案都会有所帮助。提前致谢！！！

Answer 1

不幸的是，根据databricks-connect版本 6.2.0-

“我们不能直接在 databricks 环境之外使用 magic 命令。这要么需要创建自定义函数，但同样只适用于 Jupyter，不适用于 PyCharm”

同样，由于导入 py 文件需要%runmagic 命令，所以这也成为一个主要问题。解决方案是将要导入的文件集转换为 python 包，并通过 Databricks UI 将其添加到集群，然后在 PyCharm 中导入并使用它。但这是一个非常繁琐的过程。