标签: transfer

我遇到过应用服务器配置错误导致创建大约 5TB 数据集的情况，其中每个目录包含大量小文件。我们正在传输文件并更改应用程序，但 rsync 在传输数据时失败。它甚至在本地驱动器之间本地失败。我一夜之间只复制了3.5G！我试图更改 rsync 开关，但仍然没有运气。这是当前在服务器上运行而没有任何进度指示的内容： rsync -avhWc --no-compress --progress source destination 有人建议使用 gigasync，但 github 和站点不可用。有人可以建议一种传输文件的方法吗？感谢任何帮助

我假设使用以下方法在 NFS 共享中复制文件：

流程一：

• 客户端请求从 NFS 共享复制数据（如果缓存不存在），数据块会异步复制到 NFS 客户端的内存，然后再次异步将其发送到 NFS 文件管理器以复制到新位置。
• NFS 文件管理器在内存中异步接收数据块并将其写入新位置。
• 在这个过程中，虽然读和写都会涉及到网络，但由于读写是异步的，整个读写操作的延迟将与整个数据的读写操作的延迟相同。

因此，从本地硬盘读取并写入NFS与从NFS读取并写入NFS几乎相同。

第一步，如果缓存已经存在，那么读取速度会非常快。

流程2：

• 客户端向 NFS 服务器发送启动数据复制操作的请求，以及必须读取的位置和必须写入的位置（似乎不是）。
• 服务器使用它自己的内存来完成其余的读写操作。

因此，不涉及网络。因此，可以有更好的性能（除非网络端没有延迟），但它可能不是这样的。

如果我错了，请随时纠正我。

另外，内存是否涉及每个操作，我的意思是当它通过网络发送数据时，数据首先从磁盘发送到内存（数据缓冲区），然后从内存（数据缓冲区）发送到数据缓冲区（在网络的另一侧）网络），但不是从数据缓冲区到网络另一端的磁盘，对吗？

我习惯于认为 USB 传输对数据是安全的，也就是说 USB 不会增加数据存储的不可靠性。

但是，我读到 USB 并不总是关于其可靠性的数据传输的好选择。例如，在 RAID 中使用 U 盘似乎不是一个好主意。

我想知道数据丢失的风险是特定于 RAID 的工作方式，还是每个 USB 传输固有的风险。

我有两个 VPS，每个 VPS 都安装了 WHM，我希望它们都拥有相同的数据。现在我的一个 VPS 有数据，其中一个是空的。有任何解决方案可以让我将 VPS 中的所有数据、数据库、电子邮件和所有内容转移到另一个 VPS，并在我的 VPS 发生任何更改时更新我的​​第二个 VPS。

我从 1 台 linux 主机转移到另一台 linux 主机，大约有 15TB 的数据。发件人主机有这些网卡：

[44.206701] igb: eth0 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX/TX

[44.274112] 绑定：bond0：接口 eth0，1000 Mbps 全双工的链接状态肯定是正常的。

[44.278534] igb: eth1 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX/TX

[44.573636] 绑定：bond0：接口 eth1、1000 Mbps 全双工的链路状态肯定是正常的。

接收主机有这个网卡：

[16.964486] e1000e: eth0 NIC Link is Up 100 Mbps Full Duplex, Flow Control: None

我现在的最大传输速度是 11 MB/s。我想知道，我需要做什么来提高传输速度？升级接收机网卡？

谢谢！