我正在将数据从一台服务器归档到另一台服务器。最初我开始了rsync一份工作。仅为 5 TB 数据构建文件列表就花了 2 周时间,而传输 1 TB 数据又花了一周时间。
然后我不得不终止这项工作,因为我们需要在新服务器上停机一段时间。
已经同意我们将其压缩,因为我们可能不需要再次访问它。我正在考虑将其分成 500 GB 的块。在我tar之后,我打算将它复制到ssh. 我正在使用tar,pigz但它仍然太慢。
有没有更好的方法来做到这一点?我认为两台服务器都在 Redhat 上。旧服务器是 Ext4,新服务器是 XFS。
文件大小从几 kb 到几 mb 不等,5TB 中有 2400 万个 jpeg。所以我猜测 15TB 大约为 60-80 百万。
编辑:在玩了几天 rsync、nc、tar、mbuffer 和 pigz 之后。瓶颈将是磁盘 IO。由于数据跨 500 个 SAS 磁盘和大约 2.5 亿个 jpeg 进行条带化。但是,现在我了解了我将来可以使用的所有这些不错的工具。
我正在使用带有选项的 rsync
-r for recursive
-l copy symlinks as symlinks
-t preserve modification time
-D preserve devices and specials
-v verbose
--prune-empty-dirs
Run Code Online (Sandbox Code Playgroud)
源文件系统是 ext4,目标文件系统是 XFS。我复制了几百个文件夹,范围在几百个演出到几 TB 之间,它们都在小于 1GB 的大小差异内。然而,这个特定的文件夹在源上是 264GB,一旦我 rsync 它跨它是 286GB。这是一个巨大的差异,我不知道它有什么问题。
如果源 ext4 FS 有一些损坏,它是否可能没有报告正确的磁盘使用情况?我正在使用'du -skh'。
我已经删除了整个内容并重新启动了 3 次,它产生了相同的结果。
我们的一位用户一直在他们的主目录中编译他们自己的程序。通常我们不介意,但是这个特定的程序存在内存泄漏并吞噬了 SWAP。我们多次告诉该用户不要运行该程序,但她不听。
有没有一种简单的方法可以阻止某个程序运行?
我有这个遗留软件,它一次只允许您运行一个副本,它检测到您打开了另一个会话,并且不允许您打开第二个实例。问题是这是一个 CPU 密集型程序,它只使用一个内核。是否有任何黑客或调整,以便我可以欺骗它并打开多个实例?这将允许我退休大约 5 台服务器...我使用的是 Windows 2008 R2。
我不得不使用 cff explorer 来启用超过 2GB 的 RAM,因为程序在尝试使用超过 2GB 时会崩溃。
我已经成功地只进行了两跳的 ssh 隧道
ssh -L 1234:serverB:22 user@serverA
scp -P 1234 user@localhost:/file /file
Run Code Online (Sandbox Code Playgroud)
现在我需要从 localhost -> serverA ->serverB ->serverC
并在 localhost 和 serverC 之间复制文件
我得到了 nagios 监控,它正在特定服务器上获取高交换使用率。用户正在使用一些触发高交换的应用程序。即使在他们退出应用程序后,top仍然显示使用了高交换。
我试过使用swapoff -a和swapon -a。它不会重置top内的计数器。
似乎重置计数器的唯一方法是重新启动服务器。这是一种痛苦。
我有几百个文件夹需要迁移到新服务器。我被要求为每个单独的文件夹创建一个 xfs FS 。Ran a du 所以我知道每个文件夹的确切大小和指定的 1G 块大小。
如何计算创建每个虚拟磁盘所需的大小?用 xfs 格式化后,我失去了一些空间。
假设我拥有 example.com
我创建了一个名为 dns.example.com 的 A 记录,然后将它指向一个名称服务器。在名称服务器上,我将其命名为 ns1.dns.example.com 和 dns.example.com
现在我很困惑。我是否创建 ns1.dns.example.com 或 dns.example.com 的胶水记录?我的 dns.example.com 还需要 A 记录吗?
开发人员提供了带有规范文件的源代码。是否可以构建一个适用于所有 CentOS 7.x 构建的 RPM,这是个好主意吗?
我正在旧的 msa60 上重新创建袭击。当我创建它时它会检查坏磁盘吗?它是三个 msa60 机箱,每个机箱有 12 个盘位和 1TB。我需要大约 24TB 的可用存储空间,理想的 raid 是什么?这将用作辅助备份,并且还会附加一个磁带库。