小编JD *_*D D的帖子

在 AWS Quicksight 中可视化 DynamoDB 数据

我正在寻找一种以 AWS 为中心的解决方案(如果可能,避免使用 3rd 方的东西)来可视化非常简单的 DynamoDB 表中的数据。

我们将 AWS Quicksight 用于我们客户的许多其他报告和仪表板,因此我们的目标是在那里提供可视化。

我很惊讶地看到 DynamoDB 不是 Quicksight 的受支持来源,尽管许多其他东西如 S3、Athena、Redshift、RDS 等。

有没有人有为此创建解决方案的经验?

我想我只是创建一个作业,将 DynamoDB 表每隔一段时间转储到 S3,然后使用 S3 或 Athena 与 Quicksight 集成来读取/显示它。为更多实时数据提供一个简单的解决方案会很好。

amazon-web-services amazon-dynamodb amazon-quicksight

23
推荐指数
3
解决办法
1万
查看次数

加速AMI和ASG创作

使用Ansible创建然后使用这个AMI创建一个启动配置,然后更新与自动缩放团的ubuntu的实例的AMI,是否有任何快捷方式我可以加快ASG和AMI步骤,取10分钟+

amazon-ec2 amazon-web-services autoscaling ansible amazon-ami

11
推荐指数
2
解决办法
4306
查看次数

`aws s3 cp` 与 `aws s3 sync` 行为和成本

我有一个静态站点,我将其部署到该站点,s3然后将CloudFront其分发给用户。构建站点后,我想将新构建推送到s3. 我找到了两种方法来做到这一点。

  • aws s3 cp --recursive ./public/ s3://bucket-name --cache-control 'public, max-age=300, s-maxage=31536000'

  • aws s3 sync --delete ./public/ s3://bucket-name --cache-control 'public, max-age=300, s-maxage=31536000'

我计划每周部署一次或两次。

我想知道这些哪个更便宜(钱)?更明确地说,我想知道从长远来看,这些中哪一个会降低我的成本?

我尝试阅读文档,但无法找出差异。请帮我解决一下这个。

amazon-s3 amazon-web-services static-site

8
推荐指数
1
解决办法
6109
查看次数

如何过滤NULL?

"order (S)","method (NULL)","time (L)"
"/1553695740/Bar","true","[  { ""N"" : ""1556593200"" },  { ""N"" : ""1556859600"" }]"
"/1556439461/adasd","true","[  { ""N"" : ""1556593200"" },  { ""N"" : ""1556679600"" }]"
"/1556516482/Foobar","cheque","[  { ""N"" : ""1556766000"" }]"
Run Code Online (Sandbox Code Playgroud)

如何在空“方法”属性值上扫描或查询该问题?https://s.natalian.org/2019-04-29/null.mp4

amazon-web-services amazon-dynamodb

7
推荐指数
1
解决办法
1万
查看次数

Terraform 错误:创建路由时出错:InvalidEgressOnlyInternetGatewayId.Malformed

我开启了人生的新篇章,这个 IaC(基础设施即代码)的世界真是太神奇了……

我在 YouTube 上看到了一个免费课程,介绍如何开始在 AWS 中使用 Terraform,但一路上有些东西无法正常工作,尽管代码看起来与视频和我的一样。

这是代码和结果。我将非常感谢您帮助我了解问题所在。

地形详细信息:

地形 v0.14.10

  • 提供商registry.terraform.io/hashicorp/aws v3.36.0

    代码:

    3. 创建自定义路由表

    resource "aws_route_table" "prod-route-table" {
      vpc_id = aws_vpc.prod-vpc.id
    
      route {
        cidr_block = "0.0.0.0/0"
        gateway_id = aws_internet_gateway.gw.id
      }
    
      route {
        ipv6_cidr_block        = "::/0"
        egress_only_gateway_id = aws_internet_gateway.gw.id
      }
    
      tags = {
        Name = "example"
      }
    }
    
Run Code Online (Sandbox Code Playgroud)

4. 创建子网

    resource "aws_subnet" "subnet_1" {
      vpc_id            = aws_vpc.prod-vpc.id
      cidr_block        = "10.0.1.0/24"
      availability_zone = "us-east-1e"
    
      tags = {
        "name" = "Prod-subnet"
      }
    }
Run Code Online (Sandbox Code Playgroud)

5. 将子实体与路由表关联

    resource "aws_route_table_association" "a" {
    
      subnet_id …
Run Code Online (Sandbox Code Playgroud)

amazon-web-services amazon-vpc terraform terraform-provider-aws

5
推荐指数
1
解决办法
2426
查看次数

在哪里放置 cypress 测试:使用前端代码还是自己的存储库?

我是 Cypress 的新手,正在尝试寻找存储测试的最佳实践。我看到似乎有大量的资源用于如何组织文件夹来设置固定装置、测试、插件等,但如果人们实际上使用正在测试的前端代码存储测试或在它自己单独的仓库中?

尝试设置 CICD 时,其中之一有什么优点吗?

continuous-integration integration-testing cypress

4
推荐指数
1
解决办法
2689
查看次数

AWS Lambda 会自动关闭 MySQL 连接吗?

如果我们不在 lambda 中的处理函数末尾关闭 MySQL 连接,那么当 lambda 终止时 MySQL 连接会自动关闭并在冷启动时重新连接吗?

mysql amazon-web-services aws-lambda

4
推荐指数
1
解决办法
3272
查看次数

MySQL 中 substring() 和 substr() 有什么区别?

substring() 和 substr() 在 MySQL 中执行时给出相同的结果。那么,它们是一样的吗?其中哪一个应该优先于另一个?

mysql

3
推荐指数
1
解决办法
2999
查看次数

AWS DMS:如何处理 Presto/Athena 中的 TIMESTAMP_MICROS parquet 字段

目前,我们有一个 DMS 任务,它将获取 MySQL DB 的内容并将文件以 parquet 格式转储到 S3。

parquet 中时间戳的格式最终为 TIMESTAMP_MICROS。

这是一个问题,因为 Presto(Athena 的底层实现)不支持微秒精度的时间戳,并假设所有时间戳均为毫秒精度。

这不会直接导致任何错误,但它会使时间显示为某个极端的未来日期,因为它将微秒数解释为毫秒数。

我们目前正在解决这个问题,方法是在 Athena 表之上创建 Athena 视图,这些视图获取这些时间戳,将它们转换为 unix 时间戳(即数字),除以 1000 以转换为毫秒分辨率,然后转换回时间戳。

这对于概念证明和识别问题来说很好,但这对我们来说不起作用,因为我们有很多带有很多时间戳列的表,并且不想在顶部引入这个脆弱的视图层。

为 Athena 和 DMS 团队创建了支持票证,双方都确认了问题并创建了功能请求,以便为这种不兼容的情况创建本机解决方案,但支持工程师都无法提供内置的解决方法。DMS 似乎不支持将列类型更改为毫秒精度或 varchar 字符串。对于 Athena 来说,这只是记录在案的 Presto 限制。

有没有人遇到过这个问题并找到解决方案?

更改 MySQL 数据库中的精度并不是真正的选择,因为许多客户端都使用它,并且我们不想冒破坏接口的风险。

我正在考虑创建一个作业,该作业将在创建新镶木地板时运行,以查找 TIMESTAMP_MICRO 字段并将它们列到 TIMESTAMP_MILLIS 中。不太确定解决这个问题的最佳方法(胶水/火花工作?)

DMS 很棒,使转储到 parquet 变得超级简单,可能还有其他方法从 MySQL 提取数据。还有其他工具可以在不需要太多定制开发的情况下完成此操作吗?

amazon-web-services presto parquet aws-dms amazon-athena

3
推荐指数
1
解决办法
3229
查看次数

AWS CodeBuild 解压缩后的大小必须小于 350198 字节

我尝试同时在多个 lambda 中部署和更新代码,但是当推送到我的分支并部署 CodeBuild 时,出现以下错误:

调用UpdateFunctionCode操作时发生错误(InvalidParameterValueException):解压大小必须小于350198字节

[容器] 2021/04/24 00:09:31 命令未成功退出 aws lambda update-function-code --function-name my_lambda_03 --zip-file fileb://my_lambda_03.zip 退出状态 254 [容器] 2021 /04/24 00:09:31 阶段完成:POST_BUILD 状态:FAILED [Container] 2021/04/24 00:09:31 阶段上下文状态代码:COMMAND_EXECUTION_ERROR 消息:执行命令时出错:aws lambda update-function-code - -函数名称 my_lambda_03 --zip 文件 fileb://my_lambda_03.zip。原因:退出状态254

这是buildspec.yml

version: 0.2
phases:
  install:
    runtime-versions:
      python: 3.x
    commands:
      - echo "Installing dependencies..."
  build:
    commands:
      - echo "Zipping all my functions....."
      - cd my_lambda_01/
      - zip -r9 ../my_lambda_01.zip .
      - cd ..
      - cd my_lambda_02/
      - zip -r9 ../my_lambda_02.zip . …
Run Code Online (Sandbox Code Playgroud)

amazon-web-services aws-lambda devops aws-codebuild

3
推荐指数
1
解决办法
1369
查看次数

有谁知道如何减少AWS上的数据传输费用?

我在 aws 上创建了一个 t3.micro EC2 实例,每小时的费用为 0.0065 美元。它有 2 个 vCPU 和 1 GiB 内存。我设法在其上运行 128 个周期的 CS:GO 服务器,但数据传输费用正在扼杀它。考虑到我每天只玩 5 场稀松布(5v5 比赛),并且在这种情况下仅数据传输就花费了我 38 美元,该服务器每月的估计成本约为 43 美元。然而,有些人以每月 10 美元的价格向我提供一台服务器。我究竟做错了什么?他们是如何做到的呢?

amazon-ec2 amazon-web-services server

3
推荐指数
1
解决办法
328
查看次数

AWS Athena/Glue 与 Quicksight 中查询的 JSON 字典列表

(这个问题与Store multiple elements in json files in AWS Athena非常相似)

我在 S3 存储桶中有一个 JSON 文件,其结构如下 -

[{"key1": value, "key2": value, "key3": {"key4": value, etc}}, {"key1": value....}]
Run Code Online (Sandbox Code Playgroud)

两个问题:

  1. 为什么如果我直接将其发送到 Quicksight,Quicksight 知道如何完美地规范化文件(除非存储桶中存在多个不匹配的文件(这就是我尝试 Athena 的原因)),但 Athena 却对此苦苦挣扎?我知道它与格式有关(每个字典都不在自己的行上,它是字典列表而不仅仅是字典等),但如果 AWS 上有其他服务,则似乎没有必要修改原始文件知道如何毫无问题地解析和展平它。

  2. 我在 Lambda 中使用 Python 脚本来调用 API,字典列表就是它的格式。是否有一种简单的方法可以按照 Athena 喜欢的方式格式化 JSON 文件?以下是我当前脚本的示例 -

response = requests.request(method, url, **kwargs)
data_dict = response.json()
data_json = json.dumps(data_dict['results'])
s3.Bucket('bucket_name').put_object(Key = key, Body = data_json)
Run Code Online (Sandbox Code Playgroud)

免责声明:我对 AWS/编码总体来说相当陌生,并且在尝试理解 AWS 文档时遇到了许多挑战,因此如果这是一个简单的修复,我深表歉意。

amazon-s3 amazon-web-services amazon-quicksight amazon-athena aws-glue

2
推荐指数
1
解决办法
2193
查看次数

在golang中将数组或切片传递给变量args函数

filepath.Join方法接受一个...string参数,但我有一个[]string我想传入的.当我尝试这样做时,我得到以下错误:

cannot use append(elems, spadePath) (type []string) as type string in argument to filepath.Join
Run Code Online (Sandbox Code Playgroud)

有没有办法在[]类型和...类型之间进行转换?

go

0
推荐指数
1
解决办法
2782
查看次数