我正在尝试使用 Amazon Sagemaker (xgboost: eu-west-1': '685385470294.dkr.ecr.eu-west-1.amazonaws.com/xgboost:latest') 训练模型。但是在开始训练工作后不久我总是收到相同的错误消息:
“ClientError:在数据路径中发现隐藏文件!在训练前删除它。”
S3 控制台显示输出路径为空(我也尝试创建一个新目录无济于事)。未为存储桶启用版本控制。
令人惊讶的是,谷歌在此错误消息下没有发现任何内容。
我已将输入和输出配置如下:
"InputDataConfig": [
{
"ChannelName": "train",
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://{}/{}-inputdata/train".format(s3_utils.bucket, LABEL)
}
},
"ContentType": "csv",
"CompressionType": "None"
},
{
"ChannelName": "validation",
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://{}/{}-inputdata/validation".format(s3_utils.bucket, LABEL)
}
},
"ContentType": "csv",
"CompressionType": "None"
}
],
"OutputDataConfig": {
"S3OutputPath": "s3://{}/{}-xgboost-output".format(s3_utils.bucket, LABEL) },
Run Code Online (Sandbox Code Playgroud)
场
"RoleArn": role,
Run Code Online (Sandbox Code Playgroud)
角色从何而来
from sagemaker import get_execution_role
role = get_execution_role()
Run Code Online (Sandbox Code Playgroud)
并且是
arn:aws:iam::<ACCOUNT>:role/service-role/AmazonSageMaker-ExecutionRole-<HIDDEN>
Run Code Online (Sandbox Code Playgroud)
这是显示数据路径的屏幕截图:数据路径的 S3 仪表板视图。这两个 csv 文件就是全部。特别是,没有空的“目录”可能是“隐藏文件”的含义。
amazon-s3 amazon-ec2 amazon-web-services xgboost amazon-sagemaker