标签: data-migration

除了存储为字符串、数字等的其他一些元数据信息之外，我还有一些二进制数据要传输。我拥有的二进制数据是作为 blob 列存储在数据库中的图像文件，我想在 csv 文件中包含 blob 列，并且将csv文件存储在文件系统或 sftp 服务器中，我想它存储在哪里并不重要。

如何将二进制数据存储为csv文件中的另一列？以这种方式传输二进制数据是一个好习惯吗？

我正在尝试在 AWS 上创建数据迁移任务，以便将数据从一个 RDS 实例迁移到另一个实例。源端点的实例密码包含特殊字符 (+&;) 并且用大括号括起来（如 aws 文档中建议的那样）不起作用。我成功创建了目标端点。

我错过了什么吗？

更新

使用 aws cli 创建端点时，会发生同样的问题：

An error occurred (InvalidParameterValueException) when calling the CreateEndpoint operation: 
The parameter Password contains at least one unsupported characters from following list : ;+%

如果不更改密码，真的没有办法做到这一点吗？

Laravel 附带了数据库迁移，用于管理有关数据库结构的CRUD 操作，但是处理实际数据迁移的适当/推荐/标准化方法是什么？

我的问题是，数据迁移是否应该直接在数据库迁移文件中进行？应该是播种机吗？它应该是从数据库迁移中分派的作业吗？这样的逻辑该何去何从。有时，根据数据库迁移的作用，这些数据迁移会变得异常复杂，本着最大化可读性和保持职责分离的精神，我觉得逻辑属于其他地方。

我想，这个问题更多地归因于 OOP 编程结构和整个实践，而不是 Laravel 特定的，但 Laravel 是我现在正在使用的框架，因此在这方面提出了我的问题。

我需要一个SQL Server数据库迁移框架,能够管理模式更改和数据迁移.

我想我正在寻找类似于django的南方框架的东西.

鉴于South与django的ORM紧密耦合,以及SQL Server的ORM数量如此之多,我猜想只有一个通用的迁移框架,使您能够以受控和顺序的方式编写和执行SQL数据/模式更改脚本足够了.

我正在进行大规模服务器迁移,因此我必须将50多个SQL 2005数据库移动到新的SQL 2008服务器安装.

数据库人员只给了我一个每个数据库的备份,所以我有一个目录,其中有50个.bak文件位于我需要恢复的目录(即c:\ db)中.

我需要将每个数据库还原到新服务器.

我可以在Management Studio中单独执行此操作,但这将非常耗时.有没有更有效的方法来解决这个问题.

所以我的问题是:

恢复所有这些数据库的最有效方法是什么.

机器背景:服务器是Win 2k8,带有SQL 2008 Workgroup Edition,.net 4与Powershell 2一起安装.

提前致谢.

在这个帖子中,有人指出我使用sqlalchemy-migrate来帮助使用sqlalchemy快速变化的Web应用程序.但是,还建议使用" 自己动手"方法,包括手动为新数据库模式编写CSV列,最后导入它们.

问题是我无法找到sqlalchemy-migrate的真实示例.我发现的资源最多只需要添加一个列或一列重命名.官方文档基本上描述了API,很难看到如何有效地使用迁移.从文档中我甚至不知道迁移是否有助于更改数据库引擎,例如从sqlite到mysql,而DIY解决方案可以完成工作.

我真的希望看到代码可以对数据库模式进行一些非平凡的转换,并证明迁移确实是一个有用的工具.

我在哪里可以找到sqlalchemy-migrate的好例子/教程？

谢谢 !

我想将Drupal 6站点的一部分迁移到Django应用程序,特别是基于Drupal的问题和答案部分,我认为它可以更好地与OSQA一起使用.我已经创建了另一个与此集成的身份验证部分相关的问题,出于这个问题的目的,我们可以假设所有Drupal用户都将在Django数据库中重新创建,至少是他们的用户名.这个问题是关于从Drupal到Django的数据迁移.

在Drupal中,我将所有问题都作为具有一些CCK字段的"问题"内容类型的节点,并且这些问题的答案是标准注释.我需要帮助来找到将这些数据移动到Django中的OSQA的最佳方法.

起初我以为我可以使用南方,但我不确定它是否最适合我的需求.

现在我认为我最好的方法是编写一个连接到Drupal数据库的Django应用程序,用相应的注释和用户查询所有问题,然后使用正确的模型和Django方法直接插入Django的数据库.

我在正确的道路上吗？还有其他建议吗？

谢谢!

如何在不使用实体框架的情况下使用MVC4迁移？我真的想使用数据迁移,但我没有使用实体框架.我正在使用dapper-dot-net.

为了建立预先确定,我审查了以下内容:

• Amazon-RDS数据库到专用服务器
• AWS RDS的Mysqldump

• 然而,我没有找到一个明确的解决方案来解决我在这些方面的问题,而且只有辅助因素贯穿始终 - 我想提供一个全面的具体指南,将数据移入AWS RDS中/周围.

  我确实在Percona MySQL性能会议上与一位与RDS合作的DBA顾问进行了讨论,他建议如下,这显然是一个经常出现的问题 - 我希望得到额外的投入,以帮助每个人.

**根据一家大型MySQL咨询公司和谈话中提出的举手数量,这对RDS用户非常重要.**

• 目标#1.从RDS实例中获取数据 - 您无法在RDS中的主要版本之间移动. - 也许你想把它带到像Percona等的EC2实例.
• 愿望清单目标#1a.其次,尽可能清理/ QA数据,
• 目标#3 - 将数据恢复到另一个较小的RDS或其他风味/平台.

事实:

1. 我在MySQL 5.5.x(<5.5.8)中有一个很大的(主要是utf-8的40-50GB数据集,一些latin-1).1A.无论出于何种原因,旧的管理员将我们的实例大小设置为1000GB的专用存储,只是填充.(？).
2. 现在所有的表,显然是InnoDB - 几张表约为14GB.那是另一个问题.
3. 可能存在多重编码:也许是UTF8; Latin-1和Swedish-fkafkakfk？

因此,我正在讨论继续这些选项:

选项A:直接.sql转储; .sql重新加载

1. 转储,在.sql标准可执行文件中的模式和表等集成,重新加载.
2. **因此,为了便携性,将latin-1稀释: mysqldump -u username -p --default-character-set=latin1 -N database > backup.sql mysql -u username -p --default-character-set=latin1 database < backup.sql**

问题RE:选项A: - 建议re:上面的代码,用于分块,完整性和以其他方式保证平滑转储和重新加载？或有事项的show information schema可变编码(算法处理latin1的什么不可以？)

选项B:具有Schema + QA/Schema细化的表的单个ascii文件转储

1. 转储,用直接ASCII(Charset？UTF-8？我必须小心？)将这些数据放入,分开各自的表,也许是用于数据QA的块.

   将继续以下输出TSV DATA和SCHEMA:

   mysqldump --user=dbuser --password --tab=~/output/dir dbname

2. 其次,通过一些perl/python来清理可能错误的垃圾字符; 编码问题; 来自8年的5个不同的DBA和大约12种不同的数据输入格式/文件类型等.

问题RE:选项B:

• 我的数据有很多对数据都是真实的垃圾字符; 管道最好的？
• 我从TSV等加载到AWS RDS中的基本转储中出现了可怕的错误,这些建议超出了他们的数据加载白皮书中发布的建议吗？

我试图将一个BigQuery表移动到一个新的模式,该模式具有一些额外的新NULLABLE字段,并且其中一个字段f已经变为REQUIRED(在旧模式中它们是NULLABLE).

我尝试通过命令使用新架构更新表

bq update <table> <new_schema>

我得到了错误

BigQuery error in update operation: Provided Schema does not match Table

作为第二次尝试,我使用新字段创建了一个临时空表,然后尝试在那里附加来自查询的数据(来自旧表的SELECT*),但是我收到错误:

Invalid schema update. Field f has changed mode from REQUIRED to NULLABLE

有没有办法轻松完成此迁移？当然我可以忽略表中的字段f实际为NULL的行.如果BigQuery可以从查询中推断出它会很酷.我试着这样做

SELECT * FROM old_table WHERE f IS NOT NULL

并使用新架构将结果附加到表中,但这不起作用.