熊猫read_csv转换器性能问题

Question

描述

在读取大型csv文件（几百万行混合数据）时，我使用了converterspandas read_csv方法的参数来方便地传递将字符串转换为日期时间对象等的函数。

但是，与手动转换相应的列相比，使用converters参数非常慢。

范例程式码

为了说明起见，让我们使用3种不同的方法将字符串转换为datetime对象：

• 转换器参数
• parse_dates / date_parser参数
• 加载csv后手动

注意，这里从字符串到日期时间的转换是任意的。可以用其他函数代替（除了没有特定的parse_dates / date_parser参数外）。

import pandas as pd # 0.19.2 with python 3.5

# create dummy data
rows = 100000
data = {"dates": pd.date_range("2017-02-27 20:44:23", periods=rows, freq="S")}

# save as temporary file for timeit
pd.DataFrame(data).to_csv("dummy")

# define converters
def convert_datetime(series):
    return pd.to_datetime(series, format="%Y-%m-%d %H:%M:%S")

现在，让我们看看timeit（Ipython）的比较：

%%timeit
df = pd.read_csv("dummy", converters={"dates": convert_datetime})
# 1 loop, best of 3: 7.76 s per loop

---

%%timeit
df = pd.read_csv("dummy", parse_dates=["dates"], date_parser=convert_datetime)
# 10 loops, best of 3: 125 ms per loop

---

%%timeit
df = pd.read_csv("dummy")
df["dates"] = convert_datetime(df["dates"])
# 10 loops, best of 3: 129 ms per loop

结果

转换器的版本比其他版本慢大约60倍。为了更好地理解这一点，我将convert_datetime函数包装到一个小的装饰器类中以计算调用次数：

class Counter:
   def __init__(self, func):
       self.func = func
       self.count = 0

   def __call__(self, *args, **kwargs):
       self.count += 1
       return self.func(*args, **kwargs)

@Counter
def convert_datetime(series):
    return pd.to_datetime(series, format="%Y-%m-%d %H:%M:%S")

它揭示了使用转换器的参数为每个单个值调用convert_datetime函数，而其他版本仅调用一次转换器函数。这解释了性能不足。

题

这是为什么？我希望传递给转换器参数的矢量化函数一次对所有值执行，而不是分别对每个值执行。

Answer 1

来自read_csv（强调我的）的文档，

converters : dict, 默认无

• 用于转换某些列中的值的函数字典。键可以是整数或列标签

converters关键字参数的想法是提供作用于单个值而不是整个列的函数。这可以通过重新定义转换器函数来看到

def convert_datetime(val):
    return datetime.datetime.strptime(val, "%Y-%m-%d %H:%M:%S")

%timeit pd.read_csv("dummy", converters={"dates": convert_datetime})
1 loop, best of 3: 2.81 s per loop

正如您可以想象的那样，这相当于大量的 Python 函数调用。

至于为什么转换器参数不接受矢量化函数，我最好的猜测是它们提供的灵活性比当前的实现稍差。有了想法是，你可以分析这可能需要与矢量一些分析逻辑日期等必要的列parse_dates，date_parser已经和大多数进一步列操作可以做阅读后用矢量方法。

换句话说，能够解析必须以不同类型（如日期时间）结束的元素对于使用in 的矢量化方法很方便read_csv。除此之外，converters它只是一个方便的参数，可以灵活地作用于单个值——因为进一步的矢量化方法无论如何都可以在读后完成。