何时使用 DataFrame.eval() 与 pandas.eval() 或 Python eval()

Question

我有几十个条件（例如，foo > bar）需要在 DataFrame 的 ~1 MM 行上进行评估，最简洁的写法是存储这些条件作为字符串列表并创建 DataFrame 布尔结果（每条记录一行 x 每个条件一列）。（用户输入未被评估。）

在寻求过早优化的过程中，我正在尝试确定是否应该在 DataFrame 内编写这些评估条件（例如 df.eval("foo > bar") 或将其留给 Python 作为在 eval("df.foo > df.bar")

根据 documentation on enhancing eval performance:

You should not use eval() for simple expressions or for expressions involving small DataFrames. In fact, eval() is many orders of magnitude slower for smaller expressions/objects than plain ol’ Python. A good rule of thumb is to only use eval() when you have a DataFrame with more than 10,000 rows.

如果能够使用 df.eval("foo > bar") 语法就好了，因为我的列表会更具可读性，但我找不到计算速度不慢的情况。文档显示了 pandas.eval() 比 python eval()（符合我的经验）但 none 比 DataFrame.eval()（列为 'Experimental').

例如，DataFrame.eval() 仍然是一个明显的失败者，在一个大的 DataFrame:

的不简单表达式中

import pandas as pd
import numpy as np
import numexpr
import timeit

someDf = pd.DataFrame({'a':np.random.uniform(size=int(1e6)), 'b':np.random.uniform(size=int(1e6))})

%timeit -n100 someDf.eval("a**b - a*b > b**a - b/a") # DataFrame.eval() on notional expression
%timeit -n100 eval("someDf['a']**someDf['b'] - someDf['a']*someDf['b'] > someDf['b']**someDf['a'] - someDf['b']/someDf['a']")
%timeit -n100 pd.eval("someDf.a**someDf.b - someDf.a*someDf.b > someDf.b**someDf.a - someDf.b/someDf.a")

100 loops, best of 3: 29.9 ms per loop
100 loops, best of 3: 18.7 ms per loop
100 loops, best of 3: 15.4 ms per loop

那么 DataFrame.eval() 的好处仅仅是简化了输入，还是我们可以确定使用此方法实际上更快的情况？

对于何时使用 which eval() 是否有任何其他指南？（我知道 pandas.eval() 不支持完整的操作集。）

pd.show_versions()

INSTALLED VERSIONS
------------------
commit: None
python: 3.5.1.final.0
python-bits: 64
OS: Windows
OS-release: 7
machine: AMD64
processor: Intel64 Family 6 Model 63 Stepping 2, GenuineIntel
byteorder: little
LC_ALL: None
LANG: en_US

pandas: 0.18.0
nose: 1.3.7
pip: 8.1.2
setuptools: 20.3
Cython: 0.23.4
numpy: 1.10.4
scipy: 0.17.0
statsmodels: None
xarray: None
IPython: 4.1.2
sphinx: 1.3.1
patsy: 0.4.0
dateutil: 2.5.3
pytz: 2016.2
blosc: None
bottleneck: 1.0.0
tables: 3.2.2
numexpr: 2.5
matplotlib: 1.5.1
openpyxl: 2.3.2
xlrd: 0.9.4
xlwt: 1.0.0
xlsxwriter: 0.8.4
lxml: 3.6.0
bs4: 4.4.1
html5lib: None
httplib2: None
apiclient: None
sqlalchemy: 1.0.12
pymysql: None
psycopg2: None
jinja2: 2.8
boto: 2.39.0

Answer 1

So is the benefit of DataFrame.eval() merely in simplifying the input, or can we identify circumstances where using this method is actually faster?

DataFrame.eval() 的 source code 表明它实际上只是创建要传递给 pd.eval() 的参数：

def eval(self, expr, inplace=None, **kwargs):

    inplace = validate_bool_kwarg(inplace, 'inplace')
    resolvers = kwargs.pop('resolvers', None)
    kwargs['level'] = kwargs.pop('level', 0) + 1
    if resolvers is None:
        index_resolvers = self._get_index_resolvers()
        resolvers = dict(self.iteritems()), index_resolvers
    if 'target' not in kwargs:
        kwargs['target'] = self
    kwargs['resolvers'] = kwargs.get('resolvers', ()) + tuple(resolvers)
    return _eval(expr, inplace=inplace, **kwargs)

其中 _eval() 只是在模块开头导入的 pd.eval() 的别名：

from pandas.core.computation.eval import eval as _eval

因此，您可以使用 df.eval() 做的任何事情，您可以使用 pd.eval() + 一些额外的行来设置。按照目前的情况，df.eval() 绝对不会比 pd.eval() 快。但这并不意味着不能有 df.eval() 和 pd.eval() 一样好的情况，而且写起来更方便。

然而，在使用 %prun 魔法后，df.eval() 对 df._get_index_resolvers() 的调用似乎为 df.eval() 方法增加了相当多的时间.最终，_get_index_resolvers() 最终调用了 numpy.ndarray 的 .copy() 方法，这最终导致速度变慢。同时，pd.eval() 确实在某些时候调用了 numpy.ndarray.copy()，但它花费的时间可以忽略不计（至少在我的机器上）。

长话短说，似乎 df.eval() 往往比 pd.eval() 慢，因为在引擎盖下它只是 pd.eval() 有额外的步骤，而且这些步骤非常重要。

何时使用 DataFrame.eval() 与 pandas.eval() 或 Python eval()

When to use DataFrame.eval() versus pandas.eval() or Python eval()

python

performance

eval

pandas