标签: amazon-aurora

是否有可能从Amazon Aurora迁移回Amazon RDS中的原生MySQL?

我看到亚马逊推出了从原生MySQL到Amazon Aurora MySQL的新Amazon Aurora MySQL 迁移.

是否可以使用Amazon RDS从Amazon Aurora迁移回常规MySQL?

mysql amazon-web-services amazon-rds amazon-aurora

10
推荐指数
1
解决办法
8445
查看次数

AWS Aurora RDS中的群集和实例之间有什么区别

我想这个标题非常客观,但只是为了澄清:

创建Aurora数据库实例时,会要求它为数据库实例,数据库群集和数据库命名(数据库的名称是可选的,如果未指定数据库,则不会创建数据库...) .当您创建另一个实例时,您必须再次为它们命名,并且它们都不能与第一个实例相同.

那么,Aurora数据库实例和Aurora数据库群集之间有什么区别?

此外,您可以(以及何时)连接到它们中的每一个?

谢谢!!

cluster-computing amazon-web-services amazon-rds amazon-aurora

10
推荐指数
2
解决办法
8181
查看次数

刷新postgres物化视图的性能

我正在探索物化视图来创建非规范化视图,以避免连接多个表以提高读取性能。API将从物化视图中读取数据以向客户端提供数据。

\n

我正在使用 amazon aurora postgres(版本 11)。

\n

我在物化视图 (MV) 上使用唯一索引,以便可以同时使用 \xe2\x80\x9crefresh\xe2\x80\x9d 选项。

\n

但我注意到,当源表中只有一小部分行得到更新并且我尝试刷新视图时,速度非常慢。事实上,比第一次填充视图要慢。例如:第一次填充 MV 需要大约 30 分钟,刷新需要一个多小时。不到 1% 的行已更新。生成 MV 涉及的主要三个表大约有 1800 万、2700 万和 4000 万行。

\n

物化视图刷新的及时性很重要,这样数据就不会过久陈旧。

\n

我可以使用自定义表来存储非规范化数据而不是物化视图,但必须实现刷新数据的逻辑。因此,如果可能的话,计划避免这种情况。

\n

有什么办法可以加快物化视图的刷新过程吗?

\n

如果您需要更多详细信息,请告诉我。

\n

谢谢\n基兰

\n

postgresql amazon-aurora

10
推荐指数
1
解决办法
1万
查看次数

PostgreSQL:使用复合键对大型表进行查询时性能不佳

我们有一个包含 180m 行、大小为 20 GB 的表。\n表 DDL 为:

\n
create table app.table\n(\n    a_id    integer   not null,\n    b_id    integer   not null,\n    c_id    integer   not null,\n    d_id    integer   not null,\n    e_id    integer   not null,\n    f_id    integer   not null,\n    a_date  timestamp not null,\n    date_added          timestamp,\n    last_date_modified  timestamp default now()\n);\n
Run Code Online (Sandbox Code Playgroud)\n

价值分布:

\n
    \n
  • a_id 的范围是 0-160,000,000
  • \n
  • b_id 有一个值(该表是分区表的单个分区的副本,并且该 ID 恰好是分区键)
  • \n
  • c_id的范围是0-4
  • \n
  • d_id 有一个值(当前)
  • \n
  • e_id 有一个值(当前)
  • \n
\n

主键是复合键:

\n
create table app.table\n(\n    a_id    integer   not null,\n    b_id    integer   not …
Run Code Online (Sandbox Code Playgroud)

sql postgresql postgresql-performance amazon-aurora postgresql-12

10
推荐指数
1
解决办法
825
查看次数

Amazon Aurora 1.8从S3加载数据 - 无法实例化S3客户端

使用最新的Aurora更新(1.8),LOAD DATA FROM S3引入了该命令.有没有人得到这个工作?升级到1.8之后,我按照设置指南在此处创建角色以允许从RDS访问S3.

重新启动服务器并尝试运行命令后

LOAD DATA FROM S3 PREFIX 's3://<bucket_name>/prefix' INTO TABLE table_name
Run Code Online (Sandbox Code Playgroud)

在SQL Workbench/J中,我得到错误:

Warnings:
S3 API returned error: Missing Credentials: Cannot instantiate S3 Client
S3 API returned error: Failed to instantiate S3 Client
Internal error: Unable to initialize S3Stream
Run Code Online (Sandbox Code Playgroud)

是否还需要其他步骤?我可以只从SDK运行吗?我没有在文件中的任何地方看到这一点

amazon-s3 amazon-web-services amazon-rds amazon-aurora aws-rds

9
推荐指数
2
解决办法
1万
查看次数

AWS RDS Aurora - 如何使用 PgAdmin 进行连接?

昨天 AWS 为 PostgreSQL 推出了 Aurora serverless,但它似乎没有与其他 RDS 数据库相同的配置选项,例如我无法将其设置为面向公众,它迫使我拥有一个 VPC。

现在,我不知道如何将这些 VPC 内容应用到 PgAdmin,我尝试将安全组的入站设置为所有端口和 ip,但它仍然无法连接(没有服务器响应)。

如何使用 PgAdmin 连接到 VPC 内的 RDS 数据库?打开安全组不起作用。

amazon-web-services amazon-rds pgadmin amazon-aurora

9
推荐指数
1
解决办法
1234
查看次数

在 AWS Aurora/postgres 上监听/通知

我希望实现一个触发器,在 PostgreSQL 中的表更改时发出通知,但我无法找到它是否可以在集群中工作的任何明确答案。

PostgreSQL 监听/通知是否可以在 AWS Aurora(预配置和无服务器)上工作,我是否可以期望所有客户端都收到通知,无论它们连接到哪个实例?

如果是,是否存在任何主要的性能问题?

谢谢 :)

postgresql amazon-rds amazon-aurora pg-notify

9
推荐指数
1
解决办法
2717
查看次数

在高流量期间阻塞 ClientRead 上的空闲连接以进行参数化查询(绑定)

我正在为我在高流量高峰期间出现的问题寻找好的解决方案。我在 AWS 上使用 postgres 和 nodejs(knex 用于查询构建) - 详细信息如下。

当我在 RDS 控制台中查看 Performance Insights 时,我看到一些查询停留在“ClientRead”上。我的 RDS 实例相当大,我的 CPU 利用率非常低(1%-10%)。所以我通过连接到数据库并运行查询来确认它pg_stats,结果我看到很多查询在 ClientRead 事件上是空闲的。

什么连接这些查询?绑定。我假设这些参数化查询等待从我的 EC2 实例获取值。我觉得我的服务太慢了,所以我扩展到更多的实例,但在RDS上的结果更糟,更多的连接被阻塞。

对于测试解决方案,我将几个查询从参数化转换为没有绑定的原始 sql 查询(直接在查询中使用值)。而这些查询正是立即运行,没有任何问题。但即使出于安全原因,似乎也不是完美的解决方案。

目前我不知道问题出在哪里?我应该通过在 api gw 上添加节流来减少流量吗?在我的服务中创建内部队列?这是我的 RDS/postgre 的通信问题或设置吗?

如果有人对类似案例有更多经验,或者可以指出可能的解决方案,请链接到可以帮助我或检测问题所在的文档,那就太好了。

AWS RDS (Aurora) Postgres 9.6.9 nodejs 10.12.0 knex 0.17.3 node-postgres 7.4.1

postgresql amazon-web-services amazon-rds node.js amazon-aurora

8
推荐指数
1
解决办法
4694
查看次数

我无法在 AWS Aurora 集群中启用“公共访问”配置

文档中显示我应该可以打开 RDS Aurora 数据库中的“公共访问”,但我看不到此设置。

RDS Autora 连接

这是另一个 RDS 实例(不是 Aurora)的屏幕截图

在此输入图像描述

有人有办法解决这个问题吗?

谢谢!

connectivity amazon-web-services amazon-rds amazon-aurora

8
推荐指数
1
解决办法
1613
查看次数

使用 Terraform 在 AWS Aurora V2 中部署 MySQL 8.0

我正在尝试使用 Terraform 使用 AWS Aurora V2 部署无服务器 MySQL 8.0 服务。

\n

Terraform 详细信息(不是最新版本,但应与最新的 AWS 提供商版本兼容):

\n
Terraform v0.15.4\non linux_amd64\n+ provider registry.terraform.io/hashicorp/aws v4.12.0\n+ provider registry.terraform.io/hashicorp/consul v2.15.1\n+ provider registry.terraform.io/hashicorp/random v3.1.3\n+ provider registry.terraform.io/hashicorp/template v2.2.0\n+ provider registry.terraform.io/hashicorp/vault v3.5.0\n
Run Code Online (Sandbox Code Playgroud)\n

这是相关main.tf文件:

\n
resource "aws_rds_cluster" "database" {\n  cluster_identifier      = var.cluster_identifier\n  db_subnet_group_name    = aws_db_subnet_group.db_subnet_group.name\n  vpc_security_group_ids  = var.vpc_security_group_ids\n  engine_mode             = "serverless"\n  enable_http_endpoint    = var.enable_http_endpoint\n  master_username         = var.master_username\n  master_password         = random_password.rng.result\n  database_name           = var.name\n  backup_retention_period = var.backup_retention_period\n  skip_final_snapshot     = var.skip_final_snapshot\n  deletion_protection     = var.deletion_protection\n  engine                  = "aurora-mysql"\n  engine_version …
Run Code Online (Sandbox Code Playgroud)

amazon-web-services terraform amazon-aurora terraform-provider-aws

8
推荐指数
1
解决办法
7747
查看次数