ANTLR4 commonTokenStream.GetTokens() 没有得到所有的标记

Question

我有一个 ANTLR4 语法，用于语法高亮显示的方法。当用户更改文本时，该方法被触发并生成 commonTokenStream。当我调用 GetTokens() 时，我只得到一些预期的标记。当我调用 Consume() 时，我得到了更多但不是全部。如何获取文本中的所有标记？

AntlrInputStream stream = new AntlrInputStream(_input);
GrammarLexer lexer = new GrammarLexer(stream);
CommonTokenStream commonTokenStream = new CommonTokenStream(lexer);
List<IToken> list = commonTokenStream.GetTokens();

Answer 1

在 commonTokenStream.GetTokens() 之前，先尝试 commonTokenStream.Fill()：

CommonTokenStream commonTokenStream = new CommonTokenStream(lexer);
commonTokenStream.Fill();
List<IToken> list = commonTokenStream.GetTokens();