小编nab*_*bla的帖子

AWS Sagemaker - “在数据路径中找到隐藏文件!在训练前删除它。”

我正在尝试使用 Amazon Sagemaker (xgboost: eu-west-1': '685385470294.dkr.ecr.eu-west-1.amazonaws.com/xgboost:latest') 训练模型。但是在开始训练工作后不久我总是收到相同的错误消息:

“ClientError:在数据路径中发现隐藏文件!在训练前删除它。”

S3 控制台显示输出路径为空(我也尝试创建一个新目录无济于事)。未为存储桶启用版本控制。

令人惊讶的是,谷歌在此错误消息下没有发现任何内容。

我已将输入和输出配置如下:

   "InputDataConfig": [
        {
            "ChannelName": "train",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://{}/{}-inputdata/train".format(s3_utils.bucket, LABEL)
                }
            },
            "ContentType": "csv",
            "CompressionType": "None"
        },
        {
            "ChannelName": "validation",
            "DataSource": {
                "S3DataSource": {
                    "S3DataType": "S3Prefix",
                    "S3Uri": "s3://{}/{}-inputdata/validation".format(s3_utils.bucket, LABEL)
                }
            },
            "ContentType": "csv",
            "CompressionType": "None"
        }
    ],
    "OutputDataConfig": {
        "S3OutputPath": "s3://{}/{}-xgboost-output".format(s3_utils.bucket, LABEL)        },
Run Code Online (Sandbox Code Playgroud)

场

    "RoleArn": role,
Run Code Online (Sandbox Code Playgroud)

角色从何而来

    from sagemaker import get_execution_role
    role = get_execution_role()
Run Code Online (Sandbox Code Playgroud)

并且是

    arn:aws:iam::<ACCOUNT>:role/service-role/AmazonSageMaker-ExecutionRole-<HIDDEN>
Run Code Online (Sandbox Code Playgroud)

这是显示数据路径的屏幕截图:数据路径的 S3 仪表板视图。这两个 csv 文件就是全部。特别是,没有空的“目录”可能是“隐藏文件”的含义。

amazon-s3 amazon-ec2 amazon-web-services xgboost amazon-sagemaker

2
推荐指数
1
解决办法
1438
查看次数