如何从 Azure 数据工厂运行 python egg(存在于 azure databricks 中)?

Bil*_*qat 5 egg pyspark azure-data-lake azure-data-factory-2

所以我创建了一个小的 pyspark 应用程序并将其转换为一个鸡蛋。将其上传到 dbfs:/FileStore/jar/xyz.egg。在 ADF 中,我使用了 jar 活动。但是在主类名称文本框中,我很困惑要提供什么。在此处输入图片说明

我的 Pycharm 应用程序有三个文件,其中两个基本上是实用程序文件,其中包含我调用的实用程序函数,主文件的内容是:

主文件

from CommonUtils import appendZeros
from sampleProgram import writedf


def main():
    appendZeros('zzz')
    writedf()


if __name__ == "__main__":
    main()
Run Code Online (Sandbox Code Playgroud)

现在在“主类名”文本框中指定什么?

CHE*_*SFT 2

注意: Main Class Name 是“包含要执行的 main 方法的类的全名。该类必须包含在作为库提供的 JAR 中。”

\n\n

下表描述了 JSON 定义中使用的 JSON 属性:

\n\n

在此输入图像描述

\n\n

参考:“通过在 Azure Databricks 中运行 Jar 活动来转换数据”。

\n\n

希望这可以帮助。

\n\n
\n\n

如果这回答了您的问题,请单击 \xe2\x80\x9c 标记为答案\xe2\x80\x9d 并对其进行“投票”。并且,如果您有任何进一步的疑问,请告诉我们。

\n