Python实现avro慢？

Question

我正在使用avro库从avro文件中读取一些数据.从文件加载33K对象大约需要一分钟.这对我来说似乎很慢,特别是Java版本在大约1秒内读取相同的文件.

这是代码,我做错了什么？

import avro.datafile
import avro.io
from time import time

def load(filename):
    fo = open(filename, "rb")
    reader = avro.datafile.DataFileReader(fo, avro.io.DatumReader())
    for i, record in enumerate(reader):
        pass

    return i + 1

def main(argv=None):
    import sys
    from argparse import ArgumentParser

    argv = argv or sys.argv

    parser = ArgumentParser(description="Read avro file")


    start = time()
    num_records = load("events.avro")
    end = time()

    print("{0} records in {1} seconds".format(num_records, end - start))

if __name__ == "__main__":
    main()

Answer 1

PyPI 上提供的avro Python 包是纯 Python，因此如果它比 Java 慢一个数量级或更多，我并不感到惊讶。

有一个 Avro C 实现，但据我所知，还没有人基于它创建 Python 扩展。