将具有错误编码数据的MySQL表转换为UTF-8

Question

我有一个很棒的'MySQL 5.1数据库,由于各种愚蠢的原因,我相信,我在UTF8表中存储了编码为LATIN1的UTF8字符.真奇怪.而且我想解决它.

在MySQL的-在UTF8表到UTF8转换LATIN1字符的问题似乎工作-一次一列.但我有24个表和几十列要转换.我真的在寻找能够同时转换至少一张桌子的解决方案.

作为参考,适用于我的单列解决方案是:

UPDATE foo SET col1 = CONVERT(CAST(CONVERT(col1 USING latin1) AS binary) USING utf8);

对于表格,我可以这样做:

ALTER TABLE foo CONVERT TO CHARACTER SET latin1;
ALTER TABLE foo CONVERT TO CHARACTER SET binary;
ALTER TABLE foo CHARACTER SET utf8  COLLATE utf8_unicode_ci;

这让我非常接近 - 但是,该CONVERT TO CHARACTER SET binary步骤将我的所有VARCHAR列变为VARBINARY,并将我的TEXT列一次性变为BLOB.我可以通过改变它们看起来一切都很好......但是我回到了"让我们单独修改所有列"的世界 - 在这种情况下,我可能也一样

我已经在这些SQL语句上尝试了大约50种变体,但是我找不到一种在字符数据类型中保留我的列并正确编码数据的变体.

有什么建议？

更新:决定只修复列而不是等待数据库或表格式解决方案,我提出:

#!/usr/bin/env ruby
require 'rubygems'
require 'mysql2'

CONNECT_OPTS = {} # whatever you want
Mysql2::Client.default_query_options.merge!(:as => :array)
conn = Mysql2::Client.new(CONNECT_OPTS)

tables = conn.query("SHOW TABLES").map {|row| row[0] }

# See http://dev.mysql.com/doc/refman/5.0/en/charset-column.html
# One might want to include enum and set columns; I don't have them
TYPES_TO_CONVERT = %w(char varchar text)
tables.each do |table|
  puts "converting #{table}"
  # Get all the columns and we'll filter for the ones we want
  columns = conn.query("DESCRIBE #{table}")
  columns_to_convert = columns.find_all {|row|
    TYPES_TO_CONVERT.include? row[1].gsub(/\(\d+\)/, '')
  }.map {|row| row[0]}
  next if columns_to_convert.empty?

  query = "UPDATE `#{table}` SET "
  query += columns_to_convert.map {|col|
    "`#{col}` = convert(cast(convert(`#{col}` using latin1) as binary) using utf8)"
  }.join ", "
  puts query
  conn.query query
end

...完成工作.有趣的是,这会在36秒内在我的数据库上运行,而不是花费13分钟(并且有VARBINARY问题)的ALTER TABLE路由或者假设我可以让它们运行的​​mysqldump解决方案需要花费20多个.

如果有人知道为一个整个数据库或表格执行此操作的优雅方法,我仍会接受答案.

Answer 1

下面这个方法看起来非常有前途,而且更加简洁,美观.你的想法是mysqldump你的整个数据库为latin1,然后导入它重新编码为utf-8.

出口:

mysqldump -u [user] -p --opt --quote-names --skip-set-charset --default-character-set = latin1 [database] > dump.sql

进口:

mysql -u [user] -p --default-character-set = utf8 [database] <dump.sql

我不赞成这个解决方案,它完全来自Gareth Price的博客.到目前为止,每个给他发表评论的人都有所帮助:"哇,你刚刚救了我的命.我没有花2个小时,但是2天"引起了我的注意.

更新#1:看起来Gareth 不是第一个发现这个的人.

更新#2:我刚尝试了这个,它对我的​​UTF8-stored-as-latin1数据库非常有用.只需确保在导入之前将数据库上的默认字符集切换为utf8 ,否则最终会出现特殊字符所在的普通问号.当然,这可能会有很多其他后果,所以首先要测试地狱.

ALTER SCHEMA [数据库] DEFAULT CHARACTER SET utf8;

如果您有任何未设置为架构默认值的表:

ALTER TABLE [table] CHARACTER SET = DEFAULT;

(同样的想法,如果您有任何特定于列的字符集设置,您将不必指定字符集来执行ALTER TABLE [table] CHANGE COLUMN [settings],因此它返回到表默认值)