AWS RDS MySQL 错误。还原数据时的场景会生成错误 ERROR 1227(42000)?

And*_*gel 11 mysql amazon-rds

在 CI/CD 部署环境中,存在 MYSQL 还原错误。此错误是由于 AWS RDS MySQL 权限造成的。一个mysql转储文件是5.7版本生成的,其他环境用AWS RDS Mysql 5.6版本还原如下关系:

MySQL 转储 = 版本:5.7.23 MySQL 还原 = 版本:5.6.40

错误

在 CI/CD 部署工具中得到的错误是:

`Backup format OK
Restoring MySQL
ERROR 1227 (42000) at line 18: Access denied; you need (at least one of) the SUPER privilege(s) for this operation
Error in hook: post_extract
Hook script failed
Build step 'Execute shell' marked build as failure
Finished: FAILURE`

Basically is just trying to restore a MYSQL dump file `mysql.sql`. The first 20 lines of the backup `mysql.sql` contains the following:
## Mysql.sql dump comments
`
-- MySQL dump 10.13  Distrib 5.7.24, for Linux (x86_64)
-- Server version       5.7.23-log
7 /*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
8 /*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
9 /*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
10 /*!40101 SET NAMES utf8 */;
11 /*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
12 /*!40103 SET TIME_ZONE='+00:00' */;
13 /*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
14 /*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
15 /*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
16 /*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;
17 SET @MYSQLDUMP_TEMP_LOG_BIN = @@SESSION.SQL_LOG_BIN;
18 SET @@SESSION.SQL_LOG_BIN= 0;
19
20 -- GTID state at the beginning of the backup
`
Run Code Online (Sandbox Code Playgroud)

这只是在执行 backup.sh 脚本后通过以下 mysqldump 代码生成的普通转储文件,该代码从parameters.yml文件中传递机密参数:

`mysqldump > $tmpdir/db-backup/mysql.sql \
           --defaults-extra-file=<(cat << EOF
[mysqldump]
user=$mysql_user
password=$mysql_pass
host=$mysql_host
EOF
) \
    "$mysql_db" \
|| return 1
Run Code Online (Sandbox Code Playgroud)

获取所需的凭据

parameters_yml=$secrets/config/parameters.yml
get_param() {
    sed -r -n "/^ *$1 *:/ {s/^ *$1 *: *(.*)/\1/ ; p}" $parameters_yml
}
mysql_host=$(get_param database_host)
mysql_user=$(get_param database_user)
mysql_pass=$(get_param database_password)
mysql_db=$(get_param database_name)
Run Code Online (Sandbox Code Playgroud)

现在,当评论上述mysql.sql第17 行和第 18行时,恢复过程完美无缺:

restore(){
mysql < $tmpdir/db-backup/mysql.sql \
          --defaults-extra-file=<(cat <<EOF
[mysql]
user=$mysql_user
password=$mysql_pass
host=$mysql_host
EOF
) \
          "$mysql_db" \
        || return 1
}
Run Code Online (Sandbox Code Playgroud)

这里的问题是:

  1. 如何传递一些[可选参数](https://dev.mysql.com/doc/refman/5.7/en/mysqldump.html)!mysql dump 命令来纠正这种行为?
  2. 考虑到 AWS RDS 和数据库版本不同,是否有其他建议可以解决这个问题?

我一直在一些 AWS RDS 数据库实例中尝试这个,但没有成功。问题找到了,就是mysql转储生成的mysql.sql文件中那些注释的问题。

代码包含在问题的描述中。它基本上是一个包含 backup() 和 restore() 函数的 db.sh shell 脚本。

mysql.sql 应该使用这些特定的注释生成。restore() 函数应该成功执行并且永远不会显示错误:ERROR 1227 (42000) at line n: Access denied; 您需要(至少其中之一)执行此操作的 SUPER 权限。

小智 15

在 mysqldump 中注释掉以下几行

SET @MYSQLDUMP_TEMP_LOG_BIN = @@SESSION.SQL_LOG_BIN; SET @@SESSION.SQL_LOG_BIN= 0;

SET @@GLOBAL.GTID_PURGED='';

SET @@SESSION.SQL_LOG_BIN = @MYSQLDUMP_TEMP_LOG_BIN;

导入应该成功。

有关更多详细信息,请访问此链接 https://help.poralix.com/articles/mysql-access-denied-you-need-the-super-privilege-for-this-operation


And*_*gel 12

问题:

没有额外参数的 mysqldump 会生成一个带有额外不必要注释的 .sql 转储文件,这些注释不会使转储具有可移植性。

解决方案:

添加--set-gtid-purged=OFFmysqldump 命令以删除这些注释。

更多细节:

gtid 代表全局事务 ID,是 RDBS 的一个强大功能。如果您的数据库具有全局事务,请考虑使用此解决方案。

mysqldump (Ver 14.14 Distrib 5.7.27)甚至显示警告以确保您了解--set-gtid-purged=OFF

$ mysqldump my_db_name my_table_name > foo.sql

Warning: A partial dump from a server that has GTIDs will by default include the
GTIDs of all transactions, even those that changed suppressed parts of the database.
If you don't want to restore GTIDs, pass
--set-gtid-purged=OFF
To make a complete dump, pass
--all-databases --triggers --routines --events
Run Code Online (Sandbox Code Playgroud)