Pyparsing infixNotation into a parse tree: 只有一个运算符在树中结束？

Question

我的最终目标是应用 sql-where-clause-style 查询来过滤 pandas 数据帧。一些搜索让我找到了 pyparsing 的 infixNotation 方法。

我在这里找到了一个中缀表示法的例子：http://nullege.com/codes/show/src%40p%40y%40pyparsing-2.0.2%40examples%40simpleBool.py/15/pyparsing.infixNotation/python#

但这实际上处理了符号，我需要在不同的数据上多次使用树。寻找解析树的帮助我发现了这个： http://pyparsing.wikispaces.com/file/view/fourFn.py/30154950/fourFn.py

然后我从那里获取了堆栈实现。但是，它的行为并不像我预期的那样，所以我希望有人能告诉我我做错了什么。

这是我能想到的最简单的情况：

from pyparsing import Word, alphas, infixNotation, opAssoc

exprStack=[]
def pushFirst( strg, loc, toks ):
    exprStack.append( toks[0] )

def addAnd():
    exprStack.append("and")

varname = Word(alphas).setParseAction( pushFirst )

operators=[("and", 2, opAssoc.LEFT,addAnd)]

whereExpr = infixNotation(varname,operators)

exprStack=[]
teststring = "cheese and crackers and wine"
parsed=whereExpr.parseString(teststring)
for p in exprStack:
    print p

我从这段代码中得到的是：

cheese
crackers
wine
and

根据我对中缀表示法应该如何工作的理解，我希望得到的是：

cheese
crackers
wine
and
and

我也用 "cheese and crackers and wine and whine" 试过运行但我的列表中仍然只有一个 "and"。

我对infixNotation方法的使用有什么误解？

谢谢

Answer 1

首先使用 pyparsing 的 traceParseAction 诊断装饰器装饰您的解析操作。

@traceParseAction
def addAnd():
    exprStack.append("and")

traceParseAction 将显示匹配的源行、匹配的标记的起始位置、传递给解析操作的标记以及解析操作返回的值：

>>entering addAnd(line: 'cheese and crackers and wine', 0, 
                 ([(['cheese', 'and', 'crackers', 'and', 'wine'], {})], {}))
<<leaving addAnd (ret: None)

标记看起来有点混乱，因为你得到的是一个 pyparsing ParseResults 对象，它同时具有列表和字典语义，所以 Python repr该对象首先显示其列表内容，然后是其命名内容。看起来像带有列表和字典的元组实际上是 ParseResults，在这种情况下，它是一个 ParseResults，其第一个元素是另一个 ParseResults，这个嵌套对象是包含匹配标记列表的对象。

如果您在解析操作中添加一个 tokens 参数，然后打印出 tokens.dump():

，这会更容易看清

def addAnd(tokens):
    print(tokens.dump())
    exprStack.append("and")

你会得到更多的可读性：

[['cheese', 'and', 'crackers', 'and', 'wine']]
[0]:
  ['cheese', 'and', 'crackers', 'and', 'wine']

您可以看到匹配的标记不仅包含 'and'，还包含所有的和-ed 项，因此您需要将尽可能多的 'and' 推入您的 exprStack在匹配的标记中。

def addAnd(tokens):
    exprStack.extend(tokens[0][1::2])

进行此更改后，您现在应该将其视为返回的堆栈：

cheese
crackers
wine
and
and

Pyparsing infixNotation into a parse tree: 只有一个运算符在树中结束？

Pyparsing infixNotation into a parse tree: Only one operator ending up in tree?

python

infix-notation

pyparsing