小编use*_*721的帖子

通过缓慢或不稳定的网络链接进行可靠的文件传输

我需要通过低质量的宽带链接将大量文件传输到服务器。文件很大,传输每个文件大约需要 30 分钟。

我使用 scp,但它有时会挂起 - 传输不会因错误而失败,它会继续运行,但不会传输更多数据。

因此,我正在寻找一种“故障安全”上传解决方案,即使链接失败几分钟或不可靠,该解决方案也能正常工作。

我的想法是:

  1. 将大文件分成小部分
  2. 上传部分,超时并在失败时重试

问题:

  • 是否有可以实现这个想法的现成工具?(没有特别需要 scp。可以是 ftp 或其他任何东西)
  • 有没有办法检测 scp 何时挂起?((即它仍在运行,但不传输数据)

ssh scp upload failsafe

10
推荐指数
1
解决办法
8150
查看次数

用于上传的绑定接口:scp 有效,而不是 rsync

我需要在特定界面上上传文件。这不能通过 iptables 设置,因为我的脚本在多个接口上输出。

这工作正常:

scp -oBindAddress=192.168.100.1 ...
Run Code Online (Sandbox Code Playgroud)

rsync --address=192.168.100.1
Run Code Online (Sandbox Code Playgroud)

仍在 eth0 (192.168.10.1) 上发送

我怎么能强制 rsync 使用 192.168.100.1 ?

任何的想法 ?

rsync scp bindings

8
推荐指数
1
解决办法
1万
查看次数

在 HPC 集群中使用 i7 "gamer" cpu

我正在运行 WRF 天气模型。这是一个内存密集型、高度并行的应用程序。

我需要为此构建一个 HPC 集群。我使用 10GB infiniband 互连。

WRF 不取决于核心数,而是取决于内存带宽。这就是酷睿 i7 3820 或 3930K 的性能优于高级至强 E5-2600 或 E7 的原因

似乎大学将至强 E5-2670 用于 WRF。它的成本约为1500美元。Spec2006 fp_rates WRF bench 显示 580 美元的 i7 3930K 与 1600MHz RAM 的性能相同。

有趣的是,i7 可以处理高达 2400MHz 的 ram,为 WRF 做了很大的性能提升。然后它真的胜过至强。耗电量稍高,但仍低于每年 20 欧元。即使包括我需要的额外部件(PSU、infiniband、外壳),i7 方式仍然比 Xeon 便宜 700 €/cpu。

那么,可以在 HPC 集群中使用“游戏玩家”硬件吗?还是我应该用至强做专业?

(这不是关键应用程序。我可以处理停机时间。我想我不需要 ECC?)

central-processing-unit xeon hpc

6
推荐指数
2
解决办法
2051
查看次数

标签 统计

scp ×2

bindings ×1

central-processing-unit ×1

failsafe ×1

hpc ×1

rsync ×1

ssh ×1

upload ×1

xeon ×1