标签: amazon-sagemaker

我有一份机器学习工作，想与 Sagemaker 一起运行。对于数据准备和转换，我使用一些 numpy 和 pandas 步骤通过笔记本来转换它们。

我注意到 AWS Glue 有Sagemaker 和 Zeppelin 笔记本，可以通过开发端点创建

网上没有太多信息，我可以找到使用其中一种的区别和好处（即 Sagemaker 笔记本并从 s3 导入与从 Glue 创建笔记本）

根据我的研究和尝试，我似乎可以用两者实现相同的目标：

• Sagemaker笔记本并直接从s3导入+进一步的Python代码来处理数据
• Glue（需要抓取并创建数据集）如下所示，创建开发端点并使用类似的脚本来处理数据。

任何人都能够阐明这一点吗？

我正在使用 Sagemaker Pipelines 将两个连续的 ProcessingJobs 链接在一起。当我打电话时，我收到一个奇怪的错误pipeline.upsert()

botocore.exceptions.ClientError: An error occurred (ValidationException) when calling the CreatePipeline operation: Unable to parse pipeline definition. Property 'null' with value 'null' is not of expected type 'String'

这就是我的管道的样子：

botocore.exceptions.ClientError: An error occurred (ValidationException) when calling the CreatePipeline operation: Unable to parse pipeline definition. Property 'null' with value 'null' is not of expected type 'String'

对我做错或错过的事情有什么想法吗？

我在尝试使用 Sagemaker 进行图像分类时遇到这样的错误：

ClientError: An error occurred (ValidationException) when calling the CreateTrainingJob operation: 1 validation error detected: Value 'ml.t2.medium' at 'resourceConfig.instanceType' failed to satisfy constraint: Member must satisfy enum value set: [ml.p2.xlarge, ml.m5.4xlarge, ml.m4.16xlarge, ml.p3.16xlarge, ml.m5.large, ml.p2.16xlarge, ml.c4.2xlarge, ml.c5.2xlarge, ml.c4.4xlarge, ml.c5.4xlarge, ml.c4.8xlarge, ml.c5.9xlarge, ml.c5.xlarge, ml.c4.xlarge, ml.c5.18xlarge, ml.p3.2xlarge, ml.m5.xlarge, ml.m4.10xlarge, ml.m5.12xlarge, ml.m4.xlarge, ml.m5.24xlarge, ml.m4.2xlarge, ml.p2.8xlarge, ml.m5.2xlarge, ml.p3.8xlarge, ml.m4.4xlarge]

可以在SageMaker上安装Jupyter / JupyterLab插件吗？我在JupyterLab或SageMaker界面中都看不到添加插件的任何选项。很想至少安装VIM插件。

使用 SageMaker python SDK，我创建了一个超参数调整作业，它并行运行许多作业以搜索最佳 HP 值。

作业完成后，我得到了最好的训练作业名称，字符串“作业...”。我找到了以下有关如何使用 AWS-CLI 或 http 请求描述作业的文章。

有没有办法使用 python SageMaker SDK 来避免向 AWS 发出经过身份验证的请求的复杂性？