题

为什么 AWS Cognito 有两个地方可以联合身份提供商？我认为身份池应该与身份提供者联合，并想知道为什么用户池也可以。请提出有两个位置的原因。

Cognito 身份池可以联合身份提供者。

Cognito 用户池也可以联合身份提供者。

题

如何使用 Terraform 设置 API Gateway 阶段级执行日志记录？还不支持吗？

背景

API Gateway 阶段编辑器具有执行日志记录配置。但是，尽管它具有访问日志记录配置参数，但似乎没有参数可以在aws_api_gateway_stage 中设置它们。

想知道是否还有其他资源可以使用，或者只是那些参数尚未实现。

问题

“无法验证客户端的秘密哈希......”在 REFRESH_TOKEN_AUTH 身份验证流程中。

{
    "Error": {
        "Code": "NotAuthorizedException",
        "Message": "Unable to verify secret hash for client 3tjdt39cq4lodrn60kjmsb****"
    },
    "ResponseMetadata": {
        "HTTPHeaders": {
            "connection": "keep-alive",
            "content-length": "114",
            "content-type": "application/x-amz-json-1.1",
            "date": "Tue, 29 Jan 2019 22:22:35 GMT",
            "x-amzn-errormessage": "Unable to verify secret hash for client 3tjdt39cq4lodrn60kjmsbv3jq",
            "x-amzn-errortype": "NotAuthorizedException:",
            "x-amzn-requestid": "610368ec-2414-11e9-9671-f11a8cac1e43"
        },
        "HTTPStatusCode": 400,
        "RequestId": "610368ec-2414-11e9-9671-f11a8cac1e43",
        "RetryAttempts": 0
    }
}

REFRESH_TOKEN_AUTH 的 Boto3 代码

遵循 AWS 文档（如下面的参考资料）。

对于 REFRESH_TOKEN_AUTH/REFRESH_TOKEN：REFRESH_TOKEN（必需）、SECRET_HASH（如果应用程序客户端配置了客户端密钥，则需要）、DEVICE_KEY

response = get_client().admin_initiate_auth(
    UserPoolId=USER_POOL_ID,
    ClientId=CLIENT_ID,
    AuthFlow='REFRESH_TOKEN_AUTH',
    AuthParameters={
        'REFRESH_TOKEN': refresh_token,
        'SECRET_HASH': get_secret_hash(username)
    }
) …

问题

有没有办法确保访问仅来自特定的 NLB？在目前NLB的限制下，不知道有没有办法。

局限性

• AWS Network Load Balancer (NLB) 没有安全组 (SG)，因此无法使用 SG 来验证源是否为 NLB。

• NLB（实例 ID 目标）保留外部客户端的源 IP 地址，因此无法使用源 IP 来验证源是否为 NLB。

参考

• 网络负载均衡器没有安全组
• 源IP保护

  如果您使用实例 ID 指定目标，则会保留客户端的源 IP 地址并将其提供给您的应用程序。

问题

float16可以在 numpy 中使用，但不能在 Tensorflow 2.4.1 中使用，从而导致错误。

float16 是否仅在具有 16 位支持的 GPU 的实例上运行时才可用？

混合精度

如今，大多数模型都使用 float32 数据类型，它占用 32 位内存。但是，有两种较低精度的数据类型：float16 和 bfloat16，每种数据类型都占用 16 位内存。现代加速器可以在 16 位数据类型中更快地运行操作，因为它们具有专门的硬件来运行 16 位计算，并且可以更快地从内存中读取 16 位数据类型。

NVIDIA GPU 在 float16 中运行操作的速度比在 float32 中快，TPU 在 bfloat16 中运行操作的速度比在 float32 中快。因此，应尽可能在这些设备上使用这些较低精度的数据类型。然而，由于数字原因，变量和一些计算仍应采用 float32 格式，以便模型训练到相同的质量。Keras 混合精度 API 允许您将 float16 或 bfloat16 与 float32 混合使用，以获得 float16/bfloat16 的性能优势以及 float32 的数值稳定性优势。

那么在CPU上测试时，是否需要手动将类型改为float32才能运行呢？根据[TF2.0]全局更改默认类型，目前没有选项可以更改默认浮点精度。

麻木

import numpy as np
np.arange(12, dtype=np.float16).reshape(3,4)
---
array([[ 0.,  1.,  2.,  3.],
       [ 4.,  5.,  6.,  7.],
       [ 8., …

在训练和服务期间，SageMaker 运行时中已预先设置并可用多个环境变量。它们在哪里定义和解释？

SageMaker SDK 文档说：

有关可用环境变量的详尽列表，请参阅SageMaker 容器文档。

然而，文档说：

警告：此软件包已被弃用。请使用 SageMaker Training Toolkit 进行模型训练，并使用 SageMaker Inference Toolkit 进行模型服务。

显然，SageMaker Inference Toolkit并未列出它们。

SageMaker 团队未更新这些典型的过时文档，导致花费大量时间。AWS没有内部文档更新流程吗？

问题

创建 S3 存储桶需要什么 AWS 权限，这会导致 ec2/DescribeAccountAttributes 和 s3/CreateBucket 上出现 HTTP/1.1 403 Forbidden。或者如何获取AWS方面的更多信息以进一步排除故障。

将EC2和S3上的所有权限添加到用户帐户中，但没有解决问题。

笔记

如果我拥有帐户所有者的所有权限（使用不同的帐户），则不会发生这种情况。

问题

尝试创建 S3 存储桶。

resource "aws_s3_bucket" "s3_bucket_tfstate" {
  bucket = "${var.s3_bucket_tfstate}"
  acl    = "private"
}    

然而，它会导致 403 并带有下面的 TF_LOG=DEBUG。

2017/12/06 18:55:35 [DEBUG] [aws-sdk-go] DEBUG: Request ec2/DescribeAccountAttributes Details:
---[ REQUEST POST-SIGN ]-----------------------------
POST / HTTP/1.1
Host: ec2.ap-southeast-2.amazonaws.com
User-Agent: aws-sdk-go/1.12.35 (go1.9; darwin; amd64) APN/1.0 HashiCorp/1.0 Terraform/0.11.0-beta1
Content-Length: 87
Authorization: AWS4-HMAC-SHA256 Credential=<credential>/20171206/ap-southeast-2/ec2/aws4_request, SignedHeaders=content-length;content-type;host;x-amz-date, Signature=****
Content-Type: application/x-www-form-urlencoded; charset=utf-8
X-Amz-Date: 20171206T075535Z
Accept-Encoding: gzip

Action=DescribeAccountAttributes&AttributeName.1=supported-platforms&Version=2016-11-15
-----------------------------------------------------
2017/12/06 18:55:35 [DEBUG] [aws-sdk-go] …

客观的

阐明当限制设置远低于可用 CPU 时 K8S 容器 cpu 使用率的行为，并确认如何设置限制的理解是否正确。

背景

我有一个2CPU的节点，因此2000m可以是上限。每个命名空间都设置了 LimitRange，将容器的 CPU 限制为 500m。

kind: LimitRange
metadata:
  name: core-resource-limits
    spec:
      limits:
      - default:
          cpu: 500m
          memory: 2Gi
        defaultRequest:
          cpu: 100m
        type: Container

指示

即使有 2 个 CPU 可用（没有其他进程/容器等待）并且容器可运行，它也只能使用 0.5 个 CPU，而 1.5 个 CPU 将未被使用。它是否正确？

如何设置限制范围

我相信我可以设置限制，例如可用2个CPU的75-80%，以更好地利用CPU资源。因为如果有多个容器试图占用比请求更多的 CPU，K8S 将根据文档（一些来自 OpenShift，但相信与 K8S 相同）根据每个容器的请求值在容器之间分配 CPU。它是否正确？

kind: LimitRange
metadata:
  name: core-resource-limits
    spec:
      limits:
      - default:
          cpu: 1500m
          memory: 2Gi
        defaultRequest:
          cpu: 100m
        type: Container

CPU 请求

CPU 请求代表容器可能消耗的最小 CPU 量，但如果不存在 CPU 争用，则它可以使用节点上的所有可用 …

问题

请帮助找到从 DataFrame 中的（用户、特征、值）记录创建分布式矩阵的方法，其中特征及其值存储在列中。

以下是数据摘录，但用户数量和功能较多，并且并非所有功能都经过用户测试。因此，许多特征值都是空的并且被归为 0。

例如，血液测试可能以血糖水平、胆固醇水平等为特征。如果这些级别不可接受，则将值设置为 1。但并非所有功能都会针对用户（或患者）进行测试。

+----+-------+-----+
|user|feature|value|
+----+-------+-----+
|  14|      0|    1|
|  14|    222|    1|
|  14|    200|    1|
|  22|      0|    1|
|  22|     32|    1|
|  22|    147|    1|
|  22|    279|    1|
|  22|    330|    1|
|  22|    363|    1|
|  22|    162|    1|
|  22|    811|    1|
|  22|    290|    1|
|  22|    335|    1|
|  22|    681|    1|
|  22|    786|    1|
|  22|    789|    1|
| …

在 DBT YAML 文件（例如 dbt_project.yml）中，元素是什么+或符号是什么？-

models:
  # Be sure to namespace your model configs to your project name
  dbt_labs:

    # This configures models found in models/events/
    events:
      +enabled: true            # <--- What is the meaning of +?
      +materialized: view       # <--- What is the meaning of +?

      # This configures models found in models/events/base
      # These models will be ephemeral, as the config above is overridden
      base:
        +materialized: ephemeral       # <--- What is the meaning of +?