python子进程和mysqldump

Question

我知道之前已经问过这个问题的部分内容,但我有一些相关的问题.

我正在尝试执行

mysqldump -u uname -ppassword --add-drop-database --databases databaseName | gzip > fileName

我可能会抛弃一个非常大的(200GB？)数据库.这本身就是一件蠢事吗？然后我想通过网络发送压缩文件进行存储,删除本地转储,并清除几个表.

无论如何,我正在使用这样的子进程,因为似乎没有办法在没有子进程的情况下执行整个原始调用 是一个表名:

from subprocess import Popen, PIPE

f = open(FILENAME, 'wb')
args = ['mysqldump', '-u', 'UNAME', '-pPASSWORD', '--add-drop-database', '--databases', 'DB']

p1 = Popen(args, stdout=PIPE)
P2 = Popen('gzip', stdin=p1.stdout, stdout=f)
p2.communicate()

但后来我读到,通信缓存内存中的数据,这对我不起作用.这是真的？

我现在最终做的是:

import gzip
subprocess.call(args, stdout=f)
f.close()

f = open(filename, 'rb')
zipFilename = filename + '.gz'
f2 = gzip.open(zipFilename, 'wb')
f2.writelines(f)
f2.close()
f.close()

当然这需要一百万年,我讨厌它.

我的问题:1.我可以在非常大的数据库上使用我的第一种方法吗？2.我是否可能将mysqldump的输出传输到套接字并通过网络触发并在它到达时保存它,而不是发送压缩文件？

谢谢!

Answer 1

你不需要沟通().如果你想读取stdout/stderr完成它只是作为一种方便的方法.但是既然你在追逐命令,那么他们就是在为你做这件事.等他们完成.

from subprocess import Popen, PIPE

args = ['mysqldump', '-u', 'UNAME', '-pPASSWORD', '--add-drop-database', '--databases', 'DB']

with open(FILENAME, 'wb', 0) as f:
    p1 = Popen(args, stdout=PIPE)
    p2 = Popen('gzip', stdin=p1.stdout, stdout=f)
p1.stdout.close() # force write error (/SIGPIPE) if p2 dies
p2.wait()
p1.wait()