为什么我要做`sys.stdin = codecs.getreader(sys.stdin.encoding)(sys.stdin)`？

Question

我正在编写一个python程序,其中包含所有输入(替换非工作tr '[:lowers:]' '[:upper:]').语言环境是ru_RU.UTF-8,我PYTHONIOENCODING=UTF-8用来设置STDIN/STDOUT编码.这正确设置sys.stdin.encoding.那么,为什么我仍然需要显式创建解码包装器,如果sys.stdin已经知道编码？如果我不创建包装阅读器,该.upper()功能将无法正常工作(对非ASCII字符不执行任何操作).

import sys, codecs
sys.stdin = codecs.getreader(sys.stdin.encoding)(sys.stdin) #Why do I need this?
for line in sys.stdin:
    sys.stdout.write(line.upper())

如果不使用它为什么stdin会有.encoding？

Answer 1

要回答"为什么",我们需要了解Python 2.x的内置file类型file.encoding,以及它们之间的关系.

内置file对象处理原始字节---总是读取和写入原始字节.

该encoding属性描述了流中原始字节的编码.该属性可能存在也可能不存在,甚至可能不可靠(例如,我们PYTHONIOENCODING在标准流的情况下设置不正确).

file对象执行任何自动转换的唯一时间是将unicode对象写入该流.在这种情况下,它将使用file.encodingif if来执行转换.

在读取数据的情况下,文件对象不会进行任何转换,因为它返回原始字节.encoding在这种情况下,属性是用户手动执行转换的提示.

file.encoding在您的情况下设置因为您设置了PYTHONIOENCODING变量并且相应地设置了sys.stdin's encoding属性.要获取文本流,我们必须像在示例代码中那样手动包装它.

再考虑一下,想象一下我们没有单独的文本类型(比如Python 2.x unicode或Python 3 str).我们仍然可以使用原始字节来处理文本,但是要跟踪所使用的编码.这就是如何file.encoding使用(用于跟踪编码).我们自动创建的阅读器包装器为我们进行跟踪和转换.

当然,自动换行sys.stdin会更好(这就是Python 3.x所做的),但是改变sys.stdinPython 2.x中的默认行为会破坏向后兼容性.

以下是sys.stdinPython 2.x和3.x 的比较:

# Python 2.7.4
>>> import sys
>>> type(sys.stdin)
<type 'file'>
>>> sys.stdin.encoding
'UTF-8'
>>> w = sys.stdin.readline()
## ... type stuff - enter
>>> type(w)
<type 'str'>           # In Python 2.x str is just raw bytes
>>> import locale
>>> locale.getdefaultlocale()
('en_US', 'UTF-8')

自Python 2.6以来,io.TextIOWrapper该类是标准库的一部分.此类具有一个encoding属性,用于将原始字节转换为Unicode和来自Unicode.

# Python 3.3.1
>>> import sys
>>> type(sys.stdin)
<class '_io.TextIOWrapper'>
>>> sys.stdin.encoding
'UTF-8'
>>> w = sys.stdin.readline()
## ... type stuff - enter
>>> type(w)
<class 'str'>        # In Python 3.x str is Unicode
>>> import locale
>>> locale.getdefaultlocale()
('en_US', 'UTF-8')

该buffer属性提供对原始字节流支持的访问stdin; 这通常是一个BufferedReader.注意下面,它并不能有一个encoding属性.

# Python 3.3.1 again
>>> type(sys.stdin.buffer)
<class '_io.BufferedReader'>
>>> w = sys.stdin.buffer.readline()
## ... type stuff - enter
>>> type(w)
<class 'bytes'>      # bytes is (kind of) equivalent to Python 2 str
>>> sys.stdin.buffer.encoding
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: '_io.BufferedReader' object has no attribute 'encoding'

在Python 3中,encoding属性的存在与否与所使用的流的类型一致.