标签: file-transfer

我正在寻找一些多播文件传输软件。你有什么建议吗？必须是“可快速实现的”，即没有 Tivoli 或其他需要大量基础设施的东西。必须在 Linux 上运行。请注意，我不是在寻找克隆软件，而是希望将一堆大文件移动到同一 LAN 上的一堆系统中。

我在不同的数据中心有一个傀儡主人和奴隶。它们之间的延迟约为 40 毫秒。当我在从属设备上运行“puppet agent --test”以应用最新的清单时，大约需要 360 秒才能完成。

在做了一些挖掘之后，我可以看到速度变慢的主要原因是文件传输。传输每个文件似乎需要大约 10 秒。这些文件很小（配置文件），所以我不明白为什么它们需要这么长时间。

这是我的清单中的一个文件示例：

file { "/etc/rsyncd.conf" :
    owner       => "root",
    group       => "root",
    mode        => 644,
    source  => "puppet:///files/rsyncd/rsyncd.conf"
}

运行 puppet-profiler 我看到了这个：

10.21s - File[/etc/rsyncd.conf]

似乎我也不能使用 puppet 一次更新多个服务器。如果我同时运行两台服务器，那么 puppet 需要两倍的时间。

我已将傀儡大师从使用 webrick 更改为 mongrel，但这似乎无济于事。这使得部署更改变得痛苦。一个简单的配置更改可能需要一个小时才能部署到所有服务器。

我正在寻找一些软件来提供类似于 SendThisFile.com 的服务。当我的用户尝试发送超出邮件服务器限制（我们自己的或收件人的）的文件时，他们通常会求助于此类服务。我已经提议为用户设置 FTP 帐户，但我们发现有些客户在登录 FTP 站点时遇到困难。

我可以用 PHP 写一些东西，但感觉有点像我在重新发明轮子。

其他公司正在做些什么来将大量数据传输到电子邮件的限制是一种限制并且 vpn 不是可能的解决方案的客户或合作伙伴？

我正在整理一个部署脚本，它对我的​​代码目录进行 tar 处理，在当前日期和时间之后命名 tar 文件，将其推送到服务器，将其解压到同名目录中，然后交换“当前" 符号链接指向新目录。这意味着我的旧部署保留在带时间戳的目录中（至少在我删除它们之前）。

tar 文件大约 5MB，传输需要将近一分钟。我想加快速度。

我假设每个新的 tarball 在结构上都与以前的 tarball 非常相似（因为我经常只在两次部署之间更改几行源代码）。有没有办法利用这个事实来加速我使用 rsync 的上传？

理想情况下我想说“嘿rsync，将这个名为2009-10-28-222403.tar.gz的本地文件上传到我的服务器，但它与文件2009-10-27-101155.tar只有一点点不同.gz 已经在那里了，所以试着把差异发送出去”。这是可能的，还是我应该查看其他工具？

假设我有一个包含 2 个文件的目录，它们都是相同的并且相当大（例如 2GB ea）。我想将该目录 rsync 到远程主机。据我了解（我可能是错的），rsync 计算文件的校验和。当然，如果它看到 2 个具有相同校验和的文件，它可以只复制第一个文件，然后在远程主机上为第二个文件进行本地复制？那会让它更快，不是吗？

同样，在复制之前 rsync 不会对所有远程文件进行哈希处理吗？如果它看到一个与要传输的文件具有相同哈希值的不同文件，它可以在远程主机上进行本地复制。

rsync 支持这种东西吗？有什么办法可以开启吗？是否有类似于 rsync 的工具可以执行这种“基于哈希”的本地副本？

我正在为受信任的用户寻找通过 html 表单（可能涉及 php）上传 pdf 文件的方法。这是一个非常标准的 ubuntu linux 服务器，带有 apache 2.x 和 php 5。

我想知道 apache 文件上传模块有什么好处。有一段时间没有更新了，是否积极维护？与没有这个模块的 apache 2 的传统 php 上传相比有什么优势？

http://commons.apache.org/fileupload

我记得传统的 php 文件上传很困难，有一些陷阱，apache 文件上传模块会改善这种情况吗？

我正在寻找的解决方案将成为现有网站的一部分，并集成到管理 Web 前端。我没有考虑的事情是 webdav、ssh、ftp、ftps、ftp over ssh。应该使用浏览器并且无需安装特殊的客户端软件，所以我询问基于浏览器的上传而无需特殊的客户端要求。我可以向用户请求像 Firefox >= 3.5 这样的现代浏览器或像 chrome 或 safari 这样的现代 webkit broser。

因此，rsync 在决定传输内容（即文件中的块）的过程中运行一些校验和。但是，是否有任何理由比正常网络传输更信任您最终在接收端获得的文件呢？rsync 完成后我应该运行校验和来验证数据吗？使用预检查（即 --checksum 选项）重新运行 rsync 是否开启了实现此目的的可接受方法？

我希望我所有的一致配置文件都有

merge = Name * -> meld CURRENT1 CURRENT2
diff = /usr/bin/meld CURRENT1 CURRENT2
confirmmerge = true

作为选项。我知道我可以添加这些选项到每个.prf文件中~/.unison/，但其所有齐声配置文件的全局配置文件将是可取的。有这样的文件吗？

在通过 Internet 传输文件时，我通常使用 rsync 的 -z 选项来启用压缩。但是，如果我在自己的（空闲）千兆局域网上，我还需要压缩吗？还是没有它会更快？这取决于哪些因素？（我还没有做过任何基准测试）。

所以基本上，是否更快：压缩+传输+解压缩，或者只是传输未压缩？

如果您的网络连接速度很慢，压缩显然更好……但是如果一切都在千兆以太网网络上运行呢？

我必须将两台带有大型 SAN 附件的服务器迁移到我们新的 VMWare 环境。

编辑：我必须提供一些额外的情报，因为我对 VMWare 解决方案有很好的答案。

好的，由于服务器上的某些技术限制，我无法在新系统上附加以前的 EMC LUN。

我无法使用 VMWare Converter 在我的新 VM 上克隆丢失的卷，因为 VMWare Converter 看不到 EMC PowerPath 伪设备，而且以前的管理员使用这些伪设备在其上构建 LVM2 和/或 ASM 卷。

这两个物理服务器连接到旧的 EMC² CX-340 SAN 并处理 5TB 的数据。

那些 5TB 的数据是小的 PDF，我需要通过我们的 1Gbit/s LAN 将它们传输到新机器。

我试过使用rsync，但它真的很慢并且对 RAM 和 CPU 性能有很大影响。

我尝试将 NC 与 TAR 一起使用，但传输速率非常慢，因为我在 1Gbit/s 链路上的平均吞吐量约为 50MB/s，流量几乎为零。

您能否给我一些有关此类迁移的建议或经验回报，以及您如何设法在合理的时间内正确完成它？