小编lba*_*anz的帖子

传输 15TB 的小文件

我正在将数据从一台服务器归档到另一台服务器。最初我开始了rsync一份工作。仅为 5 TB 数据构建文件列表就花了 2 周时间,而传输 1 TB 数据又花了一周时间。

然后我不得不终止这项工作,因为我们需要在新服务器上停机一段时间。

已经同意我们将其压缩,因为我们可能不需要再次访问它。我正在考虑将其分成 500 GB 的块。在我tar之后,我打算将它复制到ssh. 我正在使用tarpigz但它仍然太慢。

有没有更好的方法来做到这一点?我认为两台服务器都在 Redhat 上。旧服务器是 Ext4,新服务器是 XFS。

文件大小从几 kb 到几 mb 不等,5TB 中有 2400 万个 jpeg。所以我猜测 15TB 大约为 60-80 百万。

编辑:在玩了几天 rsync、nc、tar、mbuffer 和 pigz 之后。瓶颈将是磁盘 IO。由于数据跨 500 个 SAS 磁盘和大约 2.5 亿个 jpeg 进行条带化。但是,现在我了解了我将来可以使用的所有这些不错的工具。

linux file-transfer archive linux-networking

80
推荐指数
4
解决办法
2万
查看次数

Rsync 大小因源而异

我正在使用带有选项的 rsync

-r for recursive
-l copy symlinks as symlinks
-t preserve modification time
-D preserve devices and specials
-v verbose
--prune-empty-dirs
Run Code Online (Sandbox Code Playgroud)

源文件系统是 ext4,目标文件系统是 XFS。我复制了几百个文件夹,范围在几百个演出到几 TB 之间,它们都在小于 1GB 的大小差异内。然而,这个特定的文件夹在源上是 264GB,一旦我 rsync 它跨它是 286GB。这是一个巨大的差异,我不知道它有什么问题。

如果源 ext4 FS 有一些损坏,它是否可能没有报告正确的磁盘使用情况?我正在使用'du -skh'。

我已经删除了整个内容并重新启动了 3 次,它产生了相同的结果。

xfs ext4 rsync

7
推荐指数
3
解决办法
1万
查看次数

在 CentOS 6 上阻止程序的简单方法?

我们的一位用户一直在他们的主目录中编译他们自己的程序。通常我们不介意,但是这个特定的程序存在内存泄漏并吞噬了 SWAP。我们多次告诉该用户不要运行该程序,但她不听。

有没有一种简单的方法可以阻止某个程序运行?

centos

7
推荐指数
2
解决办法
1116
查看次数

启用 Windows 中的程序多次运行?

我有这个遗留软件,它一次只允许您运行一个副本,它检测到您打开了另一个会话,并且不允许您打开第二个实例。问题是这是一个 CPU 密集型程序,它只使用一个内核。是否有任何黑客或调整,以便我可以欺骗它并打开多个实例?这将允许我退休大约 5 台服务器...我使用的是 Windows 2008 R2。

我不得不使用 cff explorer 来启用超过 2GB 的 RAM,因为程序在尝试使用超过 2GB 时会崩溃。

windows windows-server-2008-r2

5
推荐指数
1
解决办法
2万
查看次数

用于 3 跳和复制文件的 SSH 隧道

我已经成功地只进行了两跳的 ssh 隧道

ssh -L 1234:serverB:22 user@serverA

scp -P 1234 user@localhost:/file /file
Run Code Online (Sandbox Code Playgroud)

现在我需要从 localhost -> serverA ->serverB ->serverC

并在 localhost 和 serverC 之间复制文件

ssh ssh-tunnel

5
推荐指数
1
解决办法
2624
查看次数

Centos 清除交换使用

我得到了 nagios 监控,它正在特定服务器上获取高交换使用率。用户正在使用一些触发高交换的应用程序。即使在他们退出应用程序后,top仍然显示使用了高交换。

我试过使用swapoff -aswapon -a。它不会重置top内的计数器。

似乎重置计数器的唯一方法是重新启动服务器。这是一种痛苦。

在此处输入图片说明

swap centos6

3
推荐指数
1
解决办法
1553
查看次数

在 xfs 上创建精确大小的 FS

我有几百个文件夹需要迁移到新服务器。我被要求为每个单独的文件夹创建一个 xfs FS 。Ran a du 所以我知道每个文件夹的确切大小和指定的 1G 块大小。

如何计算创建每个虚拟磁盘所需的大小?用 xfs 格式化后,我失去了一些空间。

filesystems ext4

2
推荐指数
1
解决办法
199
查看次数

子域的胶水记录?

假设我拥有 example.com

我创建了一个名为 dns.example.com 的 A 记录,然后将它指向一个名称服务器。在名称服务器上,我将其命名为 ns1.dns.example.com 和 dns.example.com

现在我很困惑。我是否创建 ns1.dns.example.com 或 dns.example.com 的胶水记录?我的 dns.example.com 还需要 A 记录吗?

domain-name-system glue-record

2
推荐指数
1
解决办法
1387
查看次数

如何为所有版本的 Centos 7.X 构建 RPM?

开发人员提供了带有规范文件的源代码。是否可以构建一个适用于所有 CentOS 7.x 构建的 RPM,这是个好主意吗?

linux rpm centos7

2
推荐指数
1
解决办法
401
查看次数

在 MSA60 上创建 raid,它会检查坏磁盘吗?

我正在旧的 msa60 上重新创建袭击。当我创建它时它会检查坏磁盘吗?它是三个 msa60 机箱,每个机箱有 12 个盘位和 1TB。我需要大约 24TB 的可用存储空间,理想的 raid 是什么?这将用作辅助备份,并且还会附加一个磁带库。

raid backup hp hp-modular-smart-array

1
推荐指数
1
解决办法
806
查看次数