标签: file-transfer

假设我有一个包含 2 个文件的目录，它们都是相同的并且相当大（例如 2GB ea）。我想将该目录 rsync 到远程主机。据我了解（我可能是错的），rsync 计算文件的校验和。当然，如果它看到 2 个具有相同校验和的文件，它可以只复制第一个文件，然后在远程主机上为第二个文件进行本地复制？那会让它更快，不是吗？

同样，在复制之前 rsync 不会对所有远程文件进行哈希处理吗？如果它看到一个与要传输的文件具有相同哈希值的不同文件，它可以在远程主机上进行本地复制。

rsync 支持这种东西吗？有什么办法可以开启吗？是否有类似于 rsync 的工具可以执行这种“基于哈希”的本地副本？

我正在为受信任的用户寻找通过 html 表单（可能涉及 php）上传 pdf 文件的方法。这是一个非常标准的 ubuntu linux 服务器，带有 apache 2.x 和 php 5。

我想知道 apache 文件上传模块有什么好处。有一段时间没有更新了，是否积极维护？与没有这个模块的 apache 2 的传统 php 上传相比有什么优势？

http://commons.apache.org/fileupload

我记得传统的 php 文件上传很困难，有一些陷阱，apache 文件上传模块会改善这种情况吗？

我正在寻找的解决方案将成为现有网站的一部分，并集成到管理 Web 前端。我没有考虑的事情是 webdav、ssh、ftp、ftps、ftp over ssh。应该使用浏览器并且无需安装特殊的客户端软件，所以我询问基于浏览器的上传而无需特殊的客户端要求。我可以向用户请求像 Firefox >= 3.5 这样的现代浏览器或像 chrome 或 safari 这样的现代 webkit broser。

我遇到了一个问题，我正在寻找一种新的安全协议/客户端/服务器，它在 1Gb/s 光纤链路上速度更快——让我告诉你这个故事......

• 我在大约 250 英里的距离上有一对冗余的、路由多样的 1Gb/s 链路（不是暗光纤，而是专用的点对点链路，不是网状网络）。
• 在“客户端”端，我有一个 HP DL380 G5（2 个双核 2.66Ghz Xeon，4GB，Windows 2003EE 32 位），在“服务器”端我有一个 HP BL460c G6（2 个四核 2.53 Ghz Xeons，48GB，Oracle Linux 5.3 64 位）。
• 我每周需要将大约 500 x 2GB 的文件从客户端传输到服务器计算机 - 但传输需要安全。
• 使用 iPerf 或常规 FTP 我可以相当一致地获得 ~80MB/s 的传输，这很棒。
• 使用 WinSCP 或 Windows SFTP，我似乎无法获得超过 ~3-4MB/s 的数据，此时服务器的 CPU 繁忙 > 3%，而客户端的 CPU0 利用率达到 ~30%。我们尝试编辑各种 TCP 窗口大小，但收效甚微。

• 两端都通过 Sup720 连接到使用率很低的 Cisco Cat6509。

• 我可以用更新的机器替换客户端机器和/或将其移至 Linux - 但这需要时间。

显然，这些单线程安全 Windows 客户端在加密时引入了过多的延迟。

所以有几个问题/想法；

• 是否有任何性能更高的 Windows 安全协议或客户端软件可以尝试？只要它能在 Windows …

从技术上讲，托管（在服务器上）的方式有什么区别？

• 下载时可以暂停并再次恢复的文件，以及
• 需要一次性下载的文件？

我的应用程序使用 rsync 将文件从网络驱动程序复制到本地作为缓存以提高性能。

但由于我的应用程序可能是并行运行的，因此 rsync 也是如此，并且可能存在 2 个rsync实例针对同一源和目录并行运行的情况。

我遇到了一个问题，即目标位置未完全同步（将一个子目录留空）。所以我怀疑这是rsync的问题，所以

• rsync 将文件从同一源并行复制到同一目标是否安全？
• 是否有任何选项可以确保此类操作的正确性。

我正在使用的选项是：

rsync -a --copy-unsafe-links --delete

通过 rsync 通过非常糟糕的连接传输文件时遇到问题（我正在尝试在云服务器上上传文件）。

rsync 在大约一分钟左右后基本上挂起。这是我尝试执行上传的方式：

rsync -avz --progress -e "ssh" ~/target.war root@my-remote-server:~/

没有错误消息或其他信息。它只是挂起显示类似以下内容：

7307264  14%   92.47kB/s    0:07:59

据我所知，Ping 远程端点似乎没有丢失包。

我的本地机器是 Mac。

任何有关如何克服这个问题的帮助都会很好。谢谢。

我最近在 2 个不同的位置移动了很多很多文件。它是完全相同的数据集，使用相同的 robocopy 命令，但在我们总部的 Windows Server 2012 R2 上花费不到 30 分钟（使用 PowerShell v4）在 Windows Server 2008 R2 SP 1（PowerShell v2）上花费了大约 15 小时) 在我们 ISP 的服务器中心。两台服务器中的后者实际上有更多的 RAM 和 CPU（实际上是后者的两倍：512 GB 内存，64 核）。

两个任务之间唯一的另一个明显的硬件差异（对我而言）是在 2012 服务器上我将数据从本地磁盘移动到 SAN 卷，而在 2008 R2 服务器上它是跨 SAN（从 LUN 到 LUN）。我不认为这是罪魁祸首，因为源卷和目标卷之间的 iSCSI 带宽在每台机器上都是相同的。

也许我遗漏了一些东西，所以我想把它放在这里，看看你们都有什么见解。

我正在尝试使用非常基本的 scp 命令将文件从本地系统上的虚拟机（Ubuntu 18.04）移动到远程服务器。此问题仅存在于一台特定服务器上，其他服务器工作正常，因此这不是一个普遍问题。

scp <file name> <user>@<complete_hostname>:~/

但此命令不会在身份验证成功后继续进行。

SCP Log: (from local machine, Ubuntu 18.04)
==========
debug1: Next authentication method: publickey
debug1: Offering public key: 
RSA SHA256:<key> /home/username/.ssh/id_rsa
debug1: Server accepts key: pkalg ssh-rsa blen 279 
debug1: Authentication succeeded (publickey).
Authenticated to 'HOSTNAME' ([10.6.26.145]:22).
debug1: channel 0: new [client-session]
debug1: Requesting no-more-sessions@openssh.com
debug1: Entering interactive session.
debug1: pledge: network
debug1: Sending environment.
debug1: Sending env LANG = en_IN
debug1: Sending command: scp -v -r -d -t ~/received/


Form another …

我看了很多文章，但没有回答我的问题。

我的服务器使用 VMware vSphere Hypervisor。我的服务器中有 20 台虚拟机。

虚拟机操作系统：centos7

我已经将我的vSwitch和VM 网络带宽更改为 1000000000 KB/s

所以其他虚拟机不会影响我的 dtr（数据传输率）。

现在我的 dtr 是 170 ~ 200 MB/s

我如何将我的 dtr 增加到 500 MB/s，以便我可以更快地将 20 GB 的文件从 A vm 传输到 B vm。

VM A : nc -l 20000 > /dev/null

VM B : time dd if=/dev/zero bs=100M count=200 | nc <VM A> 20000

200+0 records in
200+0 records out
20971520000 bytes (21 GB) copied, 122.466 s, 171 MB/s

real    2m2.479s
user    0m2.148s
sys     3m10.841s …

我正在尝试将文件从本地桌面复制到远程服务器。

是 - 我想要复制到的远程目录设置为chmod 777 是 - 服务器受密码保护，并且我确信我有正确的密码，因为我能够通过 ssh 连接到服务器。

该服务器适用于 Drupal 7 站点，我在 Windows 10 系统上尝试过Gitbash和 Windows PowerShell。该服务器由Cisco Anyconnect和Armor进行保护和管理。

我不知道问题是什么..任何人都可以提供一些指导吗？

谢谢！

我的调试输出（我已交换了用户名<my-user>和 IP 地址xxx.xxx.xx.xx）：

PS C:\Users\Jill> scp -v ~/logo.png <my-user>@xxx.xxx.xx.xx:/var/www/html/sites/all/themes/bootstrap/bootstrap_subtheme
Executing: program ssh.exe host xxx.xxx.xx.xx, user <my-user>, command scp -v -t /var/www/html/sites/all/themes/bootstrap/bootstrap_subtheme
OpenSSH_for_Windows_7.6p1, LibreSSL 2.6.4
debug1: Connecting to xxx.xxx.xx.xx [xxx.xxx.xx.xx] port 22.
debug1: Connection established.
debug1: identity file C:\\Users\\Jill/.ssh/id_rsa type 0
debug1: key_load_public: No such file or directory …