何时使用DataFrame.eval()与pandas.eval()或python eval()

Question

我有几十个条件(例如foo > bar),我需要在~1MM的a行上进行评估DataFrame,最简洁的写法是将这些条件存储为字符串列表并创建一个DataFrame布尔结果(每行一行)每个条件记录x一列).(未评估用户输入.)

在寻求过早优化的过程中,我试图确定是否应该将这些条件写入评估范围内DataFrame(例如,df.eval("foo > bar")或者只是将其保留为python,如同eval("df.foo > df.bar")

根据增强评估性能的文档:

您不应将eval()用于简单表达式或涉及小型DataFrame的表达式.事实上,对于较小的表达式/对象,eval()比普通的'Python'要快许多个数量级.一个好的经验法则是当你有一个超过10,000行的DataFrame时才使用eval().

能够使用df.eval("foo > bar")语法会很好,因为我的列表会更具可读性,但我总是找不到评估速度不慢的情况.文档显示了哪里pandas.eval()比python更快的例子eval()(符合我的经验)但没有DataFrame.eval()(因为它被列为'实验').

例如,DataFrame.eval()在一个大型的非简单表达式中仍然是一个明显的输家DataFrame:

import pandas as pd
import numpy as np
import numexpr
import timeit

someDf = pd.DataFrame({'a':np.random.uniform(size=int(1e6)), 'b':np.random.uniform(size=int(1e6))})

%timeit -n100 someDf.eval("a**b - a*b > b**a - b/a") # DataFrame.eval() on notional expression
%timeit -n100 eval("someDf['a']**someDf['b'] - someDf['a']*someDf['b'] > someDf['b']**someDf['a'] - someDf['b']/someDf['a']")
%timeit -n100 pd.eval("someDf.a**someDf.b - someDf.a*someDf.b > someDf.b**someDf.a - someDf.b/someDf.a")

100 loops, best of 3: 29.9 ms per loop
100 loops, best of 3: 18.7 ms per loop
100 loops, best of 3: 15.4 ms per loop

那么DataFrame.eval()仅仅是为了简化输入的好处,还是我们可以确定使用这种方法实际上更快的情况？

关于何时使用哪个有什么其他指导原则eval()？(我知道这pandas.eval()不支持完整的操作集.)

pd.show_versions()

INSTALLED VERSIONS
------------------
commit: None
python: 3.5.1.final.0
python-bits: 64
OS: Windows
OS-release: 7
machine: AMD64
processor: Intel64 Family 6 Model 63 Stepping 2, GenuineIntel
byteorder: little
LC_ALL: None
LANG: en_US

pandas: 0.18.0
nose: 1.3.7
pip: 8.1.2
setuptools: 20.3
Cython: 0.23.4
numpy: 1.10.4
scipy: 0.17.0
statsmodels: None
xarray: None
IPython: 4.1.2
sphinx: 1.3.1
patsy: 0.4.0
dateutil: 2.5.3
pytz: 2016.2
blosc: None
bottleneck: 1.0.0
tables: 3.2.2
numexpr: 2.5
matplotlib: 1.5.1
openpyxl: 2.3.2
xlrd: 0.9.4
xlwt: 1.0.0
xlsxwriter: 0.8.4
lxml: 3.6.0
bs4: 4.4.1
html5lib: None
httplib2: None
apiclient: None
sqlalchemy: 1.0.12
pymysql: None
psycopg2: None
jinja2: 2.8
boto: 2.39.0

Answer 1

DataFrame.eval()的好处仅在于简化输入,还是我们可以确定使用此方法实际上更快的情况？

DataFrame.eval()的源代码显示它实际上只是创建传递给pd.eval()的参数:

def eval(self, expr, inplace=None, **kwargs):

    inplace = validate_bool_kwarg(inplace, 'inplace')
    resolvers = kwargs.pop('resolvers', None)
    kwargs['level'] = kwargs.pop('level', 0) + 1
    if resolvers is None:
        index_resolvers = self._get_index_resolvers()
        resolvers = dict(self.iteritems()), index_resolvers
    if 'target' not in kwargs:
        kwargs['target'] = self
    kwargs['resolvers'] = kwargs.get('resolvers', ()) + tuple(resolvers)
    return _eval(expr, inplace=inplace, **kwargs)

其中_eval()只是pd.eval()的别名,它在模块的开头导入:

from pandas.core.computation.eval import eval as _eval

所以,什么可以做用df.eval(),你可以用做pd.eval()+几行额外设置的东西了.目前的情况,df.eval()从来没有严格的速度快pd.eval().但这并不意味着不会出现df.eval()像pd.eval()写作一样好但更方便的情况.

然而,在玩了%prun魔法之后,似乎呼叫通过df.eval()在方法上df._get_index_resolvers()添加了相当多的时间df.eval().最终,_get_index_resolvers()最终会调用.copy()方法numpy.ndarray,这最终会减慢速度.同时,pd.eval()确实会numpy.ndarray.copy()在某个时候打电话,但是花费的时间可以忽略不计(至少在我的机器上).

长话短说,似乎df.eval()往往比pd.eval()在引擎盖下慢,它只是pd.eval()额外的步骤,这些步骤是非平凡的.