更正嵌套函数的 ANTLR 语法错误

Question

我在函数体中使用自定义函数(assertFailsWith)，但在行“assertFailsWith(IllegalArgumentException::class)中出现ANTLR解析器错误{" :
不匹配的输入 '{' 期待 {NL, '}', 我正在使用来自 https://github.com/antlr/grammars-v4/tree/master/kotlin/kotlin

的 Kotlin 语法

我是否需要对以下部分进行任何更改以消除错误：

functionBody
    : block
    | ASSIGNMENT NL* expression
    ;

block
     : LCURL statements RCURL
   ;



@Test
    fun `Create invalid test`() {
        assertFailsWith(IllegalArgumentException::class) {
            // Variables
            val realVocabPath = "realVocabPath"
            val realAlphabetPath = "realAlphabetPath"
            val vocabFactory = VocabFactory(mockFileLoader, 0.6f)

            // Execute
            val vocab = vocabFactory.create(realVocabPath, realAlphabetPath, mockEngineSpec)

            // Verify
            assertEquals(mockWordPieceVocab, vocab)
        }
    }

Answer 1

这是词法分析器语法中的错误。因此，解析器出错并且无法从意外的令牌流中恢复。错误不是因为任何嵌套函数（或函数调用）。

如果让输入 .6f 0.6f 1.6f 被标记化，您将看到词法分析器生成这些标记：

RealLiteral               `.6f`
IntegerLiteral            `0`
RealLiteral               `.6f`
RealLiteral               `1.6f`

如您所见，输入 0.6f 未被识别为 RealLiteral 标记。您可以通过将 0.6f 更改为 1.6f 来验证这一点，并且您的解析器不会产生任何错误。

要解决此问题，请更改：

DoubleLiteral
    : ( (DecDigitNoZero DecDigit*)? '.'
      | (DecDigitNoZero (DecDigit | '_')* DecDigit)? '.')
     ( DecDigit+
      | DecDigit (DecDigit | '_')+ DecDigit
      | DecDigit+ [eE] ('+' | '-')? DecDigit+
      | DecDigit+ [eE] ('+' | '-')? DecDigit (DecDigit | '_')+ DecDigit
      | DecDigit (DecDigit | '_')+ DecDigit [eE] ('+' | '-')? DecDigit+
      | DecDigit (DecDigit | '_')+ DecDigit [eE] ('+' | '-')? DecDigit (DecDigit | '_')+ DecDigit
     )
    ;

进入：

DoubleLiteral
    : ( (DecDigitNoZero DecDigit* | '0')? '.'
      | (DecDigitNoZero (DecDigit | '_')* DecDigit)? '.')
     ( DecDigit+
      | DecDigit (DecDigit | '_')+ DecDigit
      | DecDigit+ [eE] ('+' | '-')? DecDigit+
      | DecDigit+ [eE] ('+' | '-')? DecDigit (DecDigit | '_')+ DecDigit
      | DecDigit (DecDigit | '_')+ DecDigit [eE] ('+' | '-')? DecDigit+
      | DecDigit (DecDigit | '_')+ DecDigit [eE] ('+' | '-')? DecDigit (DecDigit | '_')+ DecDigit
     )
    ;

您的解析器将能够正确解析您的输入。

在此处提交了修复：https://github.com/antlr/grammars-v4/pull/1850

更正嵌套函数的 ANTLR 语法错误

Correct ANTLR grammar error for nested functions

grammar

antlr

kotlin