pysftp putfo 在 SFTP 服务器上创建一个空文件,但不从 StringIO 流式传输内容

C.T*_*mas 4 python sftp stringio python-3.x pysftp

我的代码首先将行写入 CSV 中io.StringIO()

fileBuffer = io.StringIO()

# write header
header_writer = csv.DictWriter(fileBuffer, fieldnames=columnNames)
header_writer.writeheader()

# write lines
writer = csv.writer(fileBuffer, delimiter=',') 

for line in data:
            line_dec = line.decode('ISO-8859-1') 
            # print([line_dec])
            writer.writerow([line_dec])
Run Code Online (Sandbox Code Playgroud)

以下代码还打印所有预期行:

$print(fileBuffer.getvalue())    # -> prints all expected rows
Run Code Online (Sandbox Code Playgroud)

我还可以使用 pysftp 成功连接到 SFTP 服务器,甚至在使用 pysftp 时,代码也成功返回所有预期行:

with pysftp.Connection(host, username=user, password=pw, cnopts=cnopts) as sftp: 
            print('sucessfully connected to {} via Port 22'.format(host))
            print(fileBuffer.getvalue())    # -> prints all expected rows
            sftp.putfo(fileBuffer, file2BeSavedAs)   # -> no rows put on FTP Server
Run Code Online (Sandbox Code Playgroud)

实际问题来了:
不幸的是,代码只创建了文件,而没有将数据分别写入正文。另一方面,我的代码不返回任何错误消息。

如何将 CSV 从StringIOSFTP 服务器放入?

Mar*_*ryl 9

在尝试上传缓冲区之前,您必须寻找缓冲区的读取指针回到开头:

fileBuffer.seek(0)
sftp.putfo(fileBuffer, file2BeSavedAs)
Run Code Online (Sandbox Code Playgroud)

虽然更好的方法是将 CSV 直接写入服务器,而无需中间缓冲区。使用Connection.open以获得类似文件的代表SFTP服务器上的文件对象:

with sftp.open(file2BeSavedAs, mode='w', bufsize=32768) as f:
    writer = csv.writer(f, delimiter=',') 
    # ...
Run Code Online (Sandbox Code Playgroud)

对于bufsize参数的目的,请参阅:
写入使用 pysftp "open" 方法打开的 SFTP 服务器上的文件很慢


类似的问题,有进度显示,参见:
How to use Paramiko getfo to download file from SFTP server to memory to process it