Python 尝试从 SFTP 服务器流式传输文件时出现 Paramiko UTF-8 错误

Question

我有一个程序，我在其中使用 Paramiko 从 SFTP 服务器获取文件。最初我是用 get 在本地提取文件，然后通过打开本地副本来处理文件。但是，我试图避免 get 并只是将文件作为流读取。在我遇到非 UTF-8 的字符（例如 <96>）之前，这一切正常。发生这种情况时程序会出现异常。问题发生在线路上：

for line in remote_file

所以我无法从流中获取数据。我已经看到提到解码和重新编码，但我没有看到任何方法可以做到这一点，因为 Paramiko 没有给我数据。

是否有一个 Paramiko 参数说明要做什么或提供某种方法来获取原始数据？我该如何解决这个问题？

下面是正在处理的代码 - 前 3 行建立连接。然后我有一些代码（未显示），我在其中过滤目录以找到我关心的文件列表。倒数第二行打开与 SFTP 服务器上文件的连接。最后一行是错误发生的地方——我在整个代码块周围有一个 try 块。当遇到异常时，返回的错误是

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x96 in position 124: invalid start byte

ftpTransport = paramiko.Transport((FTPSERVER, FTPPORT))
ftpTransport.connect(username=FTPUSERNAME, password=FTPPASSWORD)
sftp = paramiko.SFTPClient.from_transport(ftpTransport)
remote_file = sftp.open(remoteName)
for line in remote_file:

如果我执行 sftp.get 然后打开本地文件，我不会收到 UTF-8 错误。现在我已经更改了我的代码以执行该步骤，但如果不需要，我宁愿不在本地复制文件。

Answer 1

Paramiko 假定所有文本文件都是 UTF-8 并使用 "strict" 解码（出现任何错误都会中止）。

要解决此问题，您可以在 "binary" 模式下打开文件。然后，next()、readline() 和类似的 return "binary string"，您可以使用您喜欢的任何编码对其进行解码，或者使用 UTF-8 解码忽略错误：

remote_file = sftp.open(remoteName, "rb")
for line in remote_file:
    print(line.decode("utf8", "ignore"))

Python 尝试从 SFTP 服务器流式传输文件时出现 Paramiko UTF-8 错误

Python Paramiko UTF-8 error when trying to stream file from SFTP server

python

unicode

sftp

utf-8

paramiko