我创建了一个 Glue 开发终端节点来在部署到 AWS Glue 之前测试我的代码。下面，您将看到项目架构的屏幕截图。项目布局在gluelibrary/中有config.ini我能够成功调试代码并让它运行完成。我在 DEV 环境中调用库的方式如下所示：

开发环境

import sys
import os
import time
from configobj import ConfigObj
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import boto3

config = ConfigObj('/home/glue/scripts/gluelibrary/config.ini')

此过程成功找到我在配置文件中定义的所有变量，并以“退出代码 0”退出

安慰

注意：我开发的库经过 .zip 压缩并添加到 s3 存储桶中，我在其中告诉 Glue Job 查找 .zip。

但是，当我在 Glue 控制台中，尝试实现相同的代码（文件路径除外）时，出现错误：

import sys
import os
import time
from configobj import ConfigObj
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from …