在Python中,如何将字符串写入远程计算机上的文件？

Question

在Machine1上,我有一个Python2.7脚本,它在RAM中计算一个大的(最多10MB)二进制字符串,我想写入Machine2(一台远程机器)上的磁盘文件.做这个的最好方式是什么？

约束:

• 这两台机器都是Ubuntu 13.04.它们之间的连接很快 - 它们位于同一网络上.

• Machine2上可能尚不存在目标目录,因此可能需要创建目标目录.

• 如果这很容易,我想避免将字符串从RAM写入Machine1上的临时磁盘文件.这是否会消除可能使用系统调用rsync的解决方案？

• 因为字符串是二进制的,所以它可能包含可以解释为换行符的字节.这似乎排除了可能在Machine2上使用对echo命令的系统调用的解决方案.

• 我希望这在Machine2上尽可能轻量级.因此,我想避免在Machine2上运行ftp等服务或在那里进行其他配置活动.另外,我不太了解安全性,因此除非确实有必要,否则我们希望避免打开其他端口.

• 我在Machine1和Machine2上设置了ssh密钥,并希望将它们用于身份验证.

• 编辑:Machine1正在运行多个线程,因此有可能多个线程可能会在重叠时间尝试写入Machine2上的同一文件.我不介意在这种情况下将文件写入两次(或更多)所导致的低效率,但Machine2上的结果数据文件不应被同时写入损坏.也许需要在Machine2上锁定操作系统？

我正在寻找一个rsync解决方案,因为它是一个我自己理解得很好的自包含实体,并且不需要在Machine2上进行配置.

Answer 1

Paramiko支持在远程计算机上打开文件:

import paramiko

def put_file(machinename, username, dirname, filename, data):
    ssh = paramiko.SSHClient()
    ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
    ssh.connect(machinename, username=username)
    sftp = ssh.open_sftp()
    try:
        sftp.mkdir(dirname)
    except IOError:
        pass
    f = sftp.open(dirname + '/' + filename, 'w')
    f.write(data)
    f.close()
    ssh.close()


data = 'This is arbitrary data\n'.encode('ascii')
put_file('v13', 'rob', '/tmp/dir', 'file.bin', data)

Answer 2

您使用了一个新的SSH进程到Machine2 subprocess.Popen,然后将数据写入其STDIN.

import subprocess

cmd = ['ssh', 'user@machine2',
       'mkdir -p output/dir; cat - > output/dir/file.dat']

p = subprocess.Popen(cmd, stdin=subprocess.PIPE)

your_inmem_data = 'foobarbaz\0' * 1024 * 1024

for chunk_ix in range(0, len(your_inmem_data), 1024):
    chunk = your_inmem_data[chunk_ix:chunk_ix + 1024]
    p.stdin.write(chunk)

我刚刚验证它的工作方式与广告一样,并复制了所有10485760虚拟字节.

PS一个可能更干净/更优雅的解决方案是让Python程序将其输出写入,sys.stdout并对ssh外部进行管道处理:

$ python process.py | ssh <the same ssh command>