MySQL有什么方法可以更快地导入一个巨大的（32 GB）sql转储？

Question

我有这个巨大的 32 GB SQL 转储，我需要将其导入 MySQL。我以前不必导入如此庞大的 SQL 转储。我做了通常的：

mysql -uroot dbname < dbname.sql

时间太长了。有一个大约有 3 亿行的表，在大约 3 小时内达到了 150 万行。因此，整个过程似乎需要 600 小时（即 24 天）并且不切实际。所以我的问题是，有没有更快的方法来做到这一点？

更多信息/调查结果

1. 这些表都是 InnoDB 并且没有定义外键。但是，有很多索引。
2. 我无权访问原始服务器和数据库，因此无法进行新备份或进行“热”复制等。
3. 此处innodb_flush_log_at_trx_commit = 2建议的设置似乎没有（明显可见/指数级）改进。
4. 导入期间的服务器统计信息（来自 MySQL Workbench）：https : //imgflip.com/gif/ed0c8。
5. MySQL 版本是 5.6.20 社区。
6. innodb_buffer_pool_size = 16M 和 innodb_log_buffer_size = 8M。我需要增加这些吗？

Answer 1

Percona 的 Vadim Tkachenko 制作了 InnoDB 的精美图片表示

您肯定需要更改以下内容

innodb_buffer_pool_size = 4G
innodb_log_buffer_size = 256M
innodb_log_file_size = 1G
innodb_write_io_threads = 16
innodb_flush_log_at_trx_commit = 0

为什么要进行这些设置？

• innodb_buffer_pool_size会缓存频繁读取的数据
• innodb_log_buffer_size：更大的缓冲区减少了对事务日志的写入 I/O
• innodb_log_file_size：更大的日志文件减少检查点和写入 I/O
• innodb_write_io_threads：对.ibd文件的服务写入操作。根据 上的MySQL 文档Configuring the Number of Background InnoDB I/O Threads，每个线程最多可以处理 256 个待处理的 I/O 请求。MySQL 的默认值为 4，Percona Server 的默认值为 8。最大值为 64。
• innodb_flush_log_at_trx_commit
  • 在发生崩溃的情况下，0 和 2 都可能丢失一秒钟的数据。
  • 权衡是 0 和 2 都提高了写入性能。
  • 我选择 0 而不是 2，因为 0 每秒将 InnoDB 日志缓冲区刷新到事务日志（ib_logfile0、ib_logfile1）一次，无论是否提交。设置 2 仅在提交时刷新 InnoDB 日志缓冲区。前 Percona 讲师 @jynus 提到了设置 0 的其他优点。

像这样重启mysql

service mysql restart --innodb-doublewrite=0

这将禁用 InnoDB 双写缓冲区

导入您的数据。完成后，正常重启mysql

service mysql restart

这将重新启用 InnoDB 双写缓冲区

试一试 ！！！

旁注：您应该升级到 5.6.21 以获得最新的安全补丁。

Answer 2

您真的需要恢复整个数据库吗？如果你不这样做，我的2c：

您可以提取特定表以对“块”进行还原。像这样的东西：

zcat your-dump.gz.sql | sed -n -e '/DROP TABLE.*`TABLE_NAME`/,/UNLOCK TABLES/p' > table_name-dump.sql

我做了一次，提取我需要的表花了大约 10 分钟 - 我的完整恢复花了 13 到 14 个小时，有 35GB（gzip 压缩）转储。

在/pattern/,/pattern/p与-n参数，使“模式之间的”片-包括他们。

无论如何，为了恢复 35GB，我使用了 AWS EC2 机器 (c3.8xlarge)，通过 yum (Centos) 安装了 Percona，并刚刚添加/更改了以下几行my.cnf：

max_allowed_packet=256M
wait_timeout=30000

我认为数字太高了，但对我的设置有用。

Answer 3

导入数据库的最快方法是将（ .frm, .MYD, .MYI ）文件（如果是 MyISAM）直接复制到 /var/lib/mysql/“数据库名称”。

否则你可以尝试： mysql > use database_name; \. /path/to/file.sql

这是导入数据的另一种方式。

Answer 4

帮助加快导入速度的一种方法是在导入时锁定表。使用 mysqldump 的 --add-locks 选项。

mysqldump --add-drop-table --add-locks --database db > db.sql

或者你可以使用--opt打开一些有用的参数，这会为转储打开一堆有用的东西。

mysqldump --opt --database db > db.sql

如果服务器上有另一个存储设备，请使用它 - 从一个设备复制到另一个设备是加速传输的一种方法。

您还可以使用--ignore-table过滤掉不需要的表