如何在 AWSglue 中使用从一个胶水脚本到另一个胶水脚本的函数

Question

我有一个 AWSglue pyspark 脚本，例如 scriptA.py。在此脚本中，我定义了一些通用函数，例如 readSourceData()

def readSourceData(参数1, 参数2):

//函数逻辑

现在我想在我的第二个胶水 pyspark 脚本 scriptB.py 中使用这个通用函数。

我有很多这样的通用函数。如何导入这些函数并在其他脚本中使用它们？

Answer 1

您可以使用通用函数创建模块，并将这些外部 python 模块附加到您的粘合作业中。您可以在此处阅读更多相关内容。

广泛的答案：

1. 您将通用函数捆绑在python 模块中。
2. 然后您 .zip 该模块并将其上传到 S3。
3. 将 S3 中模块的路径添加到 Python 库路径字段中的 Glue 作业中

确保您的工作角色有权访问 S3 中的位置。