小编bco*_*a12的帖子

我正在尝试在 SageMaker 中使用本地培训工作。

遵循此 AWS 笔记本 ( https://github.com/awslabs/amazon-sagemaker-examples/blob/master/sagemaker-python-sdk/mxnet_gluon_mnist/mxnet_mnist_with_gluon_local_mode.ipynb ) 我能够在本地进行训练和预测。

有什么方法可以在本地训练并将训练好的模型保存在 Amazon SageMaker 训练作业部分？否则，如何正确保存我使用本地模式训练的训练模型？

在无服务器框架中，我想将部署存储桶设置为

<project_name>-<stage>-<account_id>

我可以使用自定义变量来获得舞台，例如：

custom:
    stage: ${opt:stage, self:provider.stage}

但是我如何获得aws帐户ID？我已经尝试使用serverless-pseudo-parameters，如下所示，但没有成功。

custom:
    account_id: #{AWS::AccountId}
plugins:
  - serverless-pseudo-parameters

有人可以帮助我将帐户ID设置为自定义变量吗？

我有一个 DataFrame，我想添加一列不同的 uuid4() 行。我的代码：

from pyspark.sql import SparkSession
from pyspark.sql import functions as f
from pyspark.sql.types import StringType

from uuid import uuid4

spark_session = SparkSession.builder.getOrCreate()

df = spark_session.createDataFrame([
        [1, 1, 'teste'],
        [2, 2, 'teste'],
        [3, 0, 'teste'],
        [4, 5, 'teste'],
    ],
    list('abc'))


df = df.withColumn("_tmp", f.lit(1))

uuids = [str(uuid4()) for _ in range(df.count())]
df1 = spark_session.createDataFrame(uuids, StringType())
df1 = df_1.withColumn("_tmp", f.lit(1))


df2 = df.join(df_1, "_tmp", "inner").drop("_tmp")
df2.show()

但我有这个错误：

Py4JJavaError: An error occurred while calling o1571.showString.
: org.apache.spark.sql.AnalysisException: Detected implicit cartesian …

我需要使用 Google Functions 在 Google 计算实例中执行 bash 脚本/命令并获得响应。AWS 有一个名为 SSM 的代理，可以让我使用 Lambda 轻松完成此操作，但我在 Google Cloud 上没有找到类似的东西。在 AWS 上使用 nodejs lambda 我使用以下示例：

ssm.sendCommand({
      DocumentName: documentName,
      InstanceIds: [ instanceId ],
      TimeoutSeconds: 3600,
      Parameters: { 
        'commands' : commands
      }
    }

如何在 Google Cloud 上实现我想要的目标？谢谢。