这是我的问题:我需要将大量(最多 60 TB)大文件(通常每个 30 到 40 GB)归档到 tar 文件。我想在归档之前对这些文件进行校验和(md5、sha1 等);然而,不是读取每个文件两次(一次用于校验和,两次用于 tar'ing)或多或少是实现非常高的归档性能的必要条件(LTO-4 需要 120 MB/s 的持续速度,并且备份窗口是有限的)。
所以我需要一些方法来读取文件,在一侧提供校验和工具,并在另一侧构建一个 tar 到磁带,一些东西:
tar cf - files | tee tarfile.tar | md5sum -
Run Code Online (Sandbox Code Playgroud)
除了我不想要整个存档的校验和(这个示例 shell 代码就是这样做的),而是存档中每个单独文件的校验和。
我研究过 GNU tar、Pax、Star 选项。我查看了Archive::Tar的来源。我认为没有明显的方法可以实现这一目标。看起来我必须用 C 或类似的东西手工构建一些东西才能实现我需要的东西。Perl/Python/etc 根本不会在性能方面削减它,并且各种 tar 程序错过了必要的“插件架构”。在我开始代码改动之前,有没有人知道任何现有的解决方案?
我已经设置了一对具有 RAID 阵列(8 核、16GB RAM、12x2 TB RAID6)、3 个 10GigE 接口的相同服务器,以托管一些高可用性服务。
这些系统目前运行的是 Debian 7.9 Wheezy oldstable(因为 corosync/pacemaker 在 8.x stable 和 testing 上均不可用)。
但是,无论我如何配置 DRBD,吞吐量都限制在 100MB/s。它看起来真的像一些硬编码限制。我可以通过调整设置来可靠地降低性能,但它永远不会超过 1Gbit(一次达到 122MB/s 几秒钟)。我真的很喜欢这个。
配置分为两个文件global-common.conf::
global {
usage-count no;
}
common {
handlers {
}
startup {
}
disk {
on-io-error detach;
# no-disk-flushes ;
}
net {
max-epoch-size 8192;
max-buffers 8192;
sndbuf-size 2097152;
}
syncer …Run Code Online (Sandbox Code Playgroud) 我有一个通过光纤通道连接到 Linux 机器的 SAN 存储阵列的严重问题。这是配置:
基本上问题是:如何得到这个#?@!! FC 控制器/驱动程序可以正确识别存储阵列的配置更改(新的或删除的 LUN)?
rescan-scsi-bus -l -w -r实际上检测到一些东西(一个通用的 /dev/sgXX 设备)但是没有块设备已创建 (/dev/sdXX)。发出 LIP 并手动重新扫描时,同样的事情:
回声 1 > /sys/class/fc_host/host6/issue_lip
echo "- - -" > /sys/class/scsi_host/host6/scan
如果我删除现有的 LUN,则发出 LIP 和重新扫描或 rescan-scsi-bus 都不会产生任何影响。以前的设备保留在那里,当然不起作用(“file -s /dev/sdXX -> I/O error”)。
显然,这是QLogic 的一个非常常见的问题。存在某种解决方案,仅当使用仅适用于 RedHat 和 Suse 企业发行版的 QLogic 发布的驱动程序时才有效:请参阅此说明。
附加信息 :
这是 LIP 和重新扫描之前的 scsi 设备:
# …Run Code Online (Sandbox Code Playgroud) 我无法从我的设置中获得最大吞吐量。硬件如下:
软件 :
到目前为止,我基本上假设条带化 (RAID 0) 几个物理设备应该大致线性地提高性能。然而,这里的情况并非如此:
我需要将运行 Debian 6 的现有存储服务器迁移到 HA 设置,其中包含许多 TB 数据。我不能简单地长时间关闭此服务器(毕竟需要 HA)。
我计划将此服务器迁移到 DRBD 集群。我不能为这个集群购买两台新服务器;出于成本原因,我需要重用现有服务器作为集群的成员。请记住,我一次不能关闭任何东西超过几分钟。
我准备好了一台新服务器,运行 Debian 8 作为“主服务器”。我需要使用这个“主”服务器建立一个“裂脑”集群;将所有数据从现有的旧服务器复制到集群;将现有服务切换到集群;用 Debian 8 重新配置旧服务器,然后将其添加到集群中作为“从属”,重新同步数据,最后进行冗余设置。
我已经在新机器上设置了集群,但是,如何进行?我什至无法启动 drbd 服务,因为另一个“节点”甚至还不存在......
我从以前运行良好的 drbd 配置开始……有两个可用节点。
任何帮助表示赞赏。
显然 LTO-4 驱动器可以读取和写入 LTO-3 磁带。这些磁带是否与 LTO-3 驱动器完全兼容?我对现实生活中的体验比理论上的供应商吹捧的兼容性更感兴趣:)
Cat5 以太网电缆仅使用 2 对用于以太网,另外 2 对用于什么?
Pin Color Function
1 White with Green +TD
2 Green -TD
3 White with Orange +RD
4 Blue Not Used
5 White with Blue Not Used
6 Orange -RD
7 White with Brown Not Used
8 Brown Not Used
Run Code Online (Sandbox Code Playgroud) 我正在考虑使用 Bacula 进行某些备份的想法,但是为了节省磁带和限制手动操作,我想进行两阶段备份:
有谁知道如何将给定的备份从磁盘支持“迁移”到 Bacula 中的磁带?
设置如下: 3 台带有 Intel CX4 10 GigE 控制器的 Linux 服务器和一台带有 Myricom 10 GigE CX4 控制器的 X-Serve 连接到 ProCurve 4208vl 交换机,还有无数其他机器通过 good ol' 1000 base-T 连接.
根据交换机监控接口和服务器(ethtool 等),接口实际上设置为 10 Gig。但是,两台配备 10 GigE 的机器之间通过交换机的单个连接仅限于 1Gb。
如果我使用 CX4 电缆直接连接 10 GigE 机器中的两台,netperf 报告链路带宽为 9000 Mb/s。NFS 实现了大约 550 MB/s 的传输。但是当我使用交换机时,通过 netperf 的连接速度最高为 950 Mb/s,而通过 NFS 的连接速度最高为 110 MB/s。
当我打开从 3 台机器到第 4 台机器的多个连接时,我获得了 350 MB/s 的 NFS 传输速度。因此,每个单独的 10 GigE 端口实际上可以达到 1 Gb 以上,但单独的连接被严格限制为 1 Gb。
结论:通过交换机的 10 GigE 连接的行为与 10 1 Gb 连接的中继 …
我有一个 Debian/Jessie Samba 4.2.14 作为 AD 成员运行。ADC是Windows2008R2服务器。加入工作没有问题。
# net ads testjoin
Join is OK
Run Code Online (Sandbox Code Playgroud)
wbinfo -u并wbinfo -g完美运行并按预期提供来自 AD 的用户和组列表。wbinfo -i <user>也有效:
# wbinfo -i TESTAD\\testuser
TESTAD\testuser:*:4294967295:4294967295:testuser:/home/TESTAD/testuser:/bin/false
Run Code Online (Sandbox Code Playgroud)
编辑:这里有问题,因为wbinfo -i将所有用户和组映射到 id 4294967295,正如@TheSkunk 所说,2^32 -1。
编辑2: wbinfo --sid-to-uid TESTAD\\testuser失败。当然,我必须明确设置一些idmap参数(默认值显然根本不起作用)但是如何设置?
编辑 3:我已将这两行添加到 smb.conf:
idmap config * : backend = tdb
idmap config * : range = 10000-30000
Run Code Online (Sandbox Code Playgroud)
现在 ?binfo -i TESTDOMAIN\testuser reports a valid id, and a different one for each and …