如何正确创建自定义文本编解码器？

Question

我正在挖掘一些包含(除其他外)文本的旧二进制文件.他们的文本经常使用自定义字符编码的原因,我希望能够阅读和重写它们.

在我看来,执行此操作的适当方法是使用标准编解码器库创建自定义编解码器.不幸的是,它的文档既庞大又完全没有例子.谷歌出现了一些,但仅限于python2,我使用3.

我正在寻找一个如何使用编解码器库来实现自定义字符编码的最小示例.

Answer 1

你要求最小化!

• 编写编码功能和解码功能.
• 编写一个"搜索功能",返回CodecInfo从上述编码器和解码器构造的对象.
• 使用codec.register注册一个返回上述CodecInfo对象的函数.

下面是按顺序将小写字母az转换为0-25的示例.

import codecs
import string

from typing import Tuple

# prepare map from numbers to letters
_encode_table = {str(number): bytes(letter, 'ascii') for number, letter in enumerate(string.ascii_lowercase)}

# prepare inverse map
_decode_table = {ord(v): k for k, v in _encode_table.items()}


def custom_encode(text: str) -> Tuple[bytes, int]:
    # example encoder that converts ints to letters
    # see https://docs.python.org/3/library/codecs.html#codecs.Codec.encode
    return b''.join(_encode_table[x] for x in text), len(text)


def custom_decode(binary: bytes) -> Tuple[str, int]:
    # example decoder that converts letters to ints
    # see https://docs.python.org/3/library/codecs.html#codecs.Codec.decode
    return ''.join(_decode_table[x] for x in binary), len(binary)


def custom_search_function(encoding_name):
    return codecs.CodecInfo(custom_encode, custom_decode, name='Reasons')


def main():

    # register your custom codec
    # note that CodecInfo.name is used later
    codecs.register(custom_search_function)

    binary = b'abcdefg'
    # decode letters to numbers
    text = codecs.decode(binary, encoding='Reasons')
    print(text)
    # encode numbers to letters
    binary2 = codecs.encode(text, encoding='Reasons')
    print(binary2)
    # encode(decode(...)) should be an identity function
    assert binary == binary2

if __name__ == '__main__':
    main()

运行此打印

$ python codec_example.py
0123456
b'abcdefg'

有关界面的详细信息,请参阅https://docs.python.org/3/library/codecs.html#codec-objectsCodec.特别是解码功能

...解码对象输入并返回一个元组(输出对象,消耗的长度).

而编码功能

...对对象输入进行编码并返回一个元组(输出对象,消耗的长度).

请注意,您还应该担心处理流,增量编码/解码以及错误处理.有关更完整的示例,请参阅@ krs013提到的hexlify编解码器.

PS而不是codec.decode,你也可以使用codec.open(..., encoding='Reasons').