Boost spirit 词素及其属性
Boost spirit lexeme and its attributes
我正在使用跳过白色 space 的解析器。有一次,我不想跳过,所以我想使用qi::lexeme
。但是,这要么不会编译,要么会弄乱我的结果。我尤其不能理解最后一点。 lexeme
的属性是如何处理的?
这是我正在尝试做的一个例子:
#include <iostream>
#include <iomanip>
#include <string>
#include <boost/spirit/include/qi.hpp>
#include <boost/fusion/include/vector.hpp>
namespace qi = boost::spirit::qi;
namespace fu = boost::fusion;
struct printer_type
{
void operator() (int i) const
{
std::cout << i << ' ';
}
void operator() (std::string s) const
{
std::cout << '"' << s << '"' << ' ';
}
} printer;
int main() {
for (std::string str : { "1foo 13", "42 bar 13", "13cheese 8", "101pencil13" }) {
auto iter = str.begin(), end = str.end();
qi::rule<std::string::iterator, qi::blank_type, fu::vector<int, std::string, int>()> parser = qi::int_ >> +qi::alpha >> qi::int_;
fu::vector<int, std::string, int> result;
bool r = qi::phrase_parse(iter, end, parser, qi::blank, result);
std::cout << " --- " << std::quoted(str) << " --- ";
if (r) {
std::cout << "parse succeeded: ";
fu::for_each(result, printer);
std::cout << '\n';
} else {
std::cout << "parse failed.\n";
}
if (iter != end) {
std::cout << " Remaining unparsed: " << std::string(iter, str.end()) << '\n';
}
}
}
注意这一行:
qi::rule<std::string::iterator, qi::blank_type, fu::vector<int, std::string, int>()> parser =
qi::int_ >> +qi::alpha >> qi::int_;
好的,所以我们需要一个整数,然后是一个字符串,然后又是一个整数。但是,我不想在第一个int和字符串之间跳过白色space,这里不能有space。如果我使用 lexeme,合成的属性就会变得混乱。
没有 lexeme
的 运行 给出以下结果:
--- "1foo 13" --- parse succeeded: 1 "foo" 13
--- "42 bar 13" --- parse succeeded: 42 "bar" 13
--- "13cheese 8" --- parse succeeded: 13 "cheese" 8
--- "101pencil13" --- parse succeeded: 101 "pencil" 13
所以一切都解析得很好,这很好。但是,第二个示例 (42 bar 13
) 不应成功解析,因此这里是第一个 int 和字符串 (qi::lexeme[qi::int_ >> +qi::alpha] >> qi::int_;
) 周围 lexeme
的结果:
" 0 "1foo 13" --- parse succeeded: 1 "
--- "42 bar 13" --- parse failed.
Remaining unparsed: 42 bar 13
--- "13cheese 8" --- parse succeeded: 13 " 0
" 0 "101pencil13" --- parse succeeded: 101 "
什么!?我对发生了什么一无所知,我很高兴得到任何启发:)
附带问题:我想完全省略 lexeme
并定义一个不跳过的子规则。在这种情况下如何指定属性?
子规则具有 fusion::vector<int, std::string>()
属性,但我仍然希望主规则具有 fusion::vector<int, std::string, int>()
作为属性,而不是 fusion::vector<fusion::vector<int, std::string>, int>()
(无论如何都不会编译)。
使用no_skip
指令:qi::int_ >> qi::no_skip[+qi::alpha] >> qi::int_
--- "1foo 13" --- parse succeeded: 1 "foo" 13
--- "42 bar 13" --- parse failed.
Remaining unparsed: 42 bar 13
--- "13cheese 8" --- parse succeeded: 13 "cheese" 8
--- "101pencil13" --- parse succeeded: 101 "pencil" 13
https://wandbox.org/permlink/PdS14l0b3qjJwz5S
Sooo.... what!? I have not the slightest clue what is going on, i'm happy for any enlightment :)
正如@llonesmiz 提到的,qi::lexeme[qi::int_ >> +qi::alpha] >> qi::int_
解析器绑定到 tuple<tuple<int,std::string>,int>
并且您已触发
trac 8013 bug/misfeature 两次(第一次用于整个序列解析器,第二次用于 lexeme 内的序列)。
我正在使用跳过白色 space 的解析器。有一次,我不想跳过,所以我想使用qi::lexeme
。但是,这要么不会编译,要么会弄乱我的结果。我尤其不能理解最后一点。 lexeme
的属性是如何处理的?
这是我正在尝试做的一个例子:
#include <iostream>
#include <iomanip>
#include <string>
#include <boost/spirit/include/qi.hpp>
#include <boost/fusion/include/vector.hpp>
namespace qi = boost::spirit::qi;
namespace fu = boost::fusion;
struct printer_type
{
void operator() (int i) const
{
std::cout << i << ' ';
}
void operator() (std::string s) const
{
std::cout << '"' << s << '"' << ' ';
}
} printer;
int main() {
for (std::string str : { "1foo 13", "42 bar 13", "13cheese 8", "101pencil13" }) {
auto iter = str.begin(), end = str.end();
qi::rule<std::string::iterator, qi::blank_type, fu::vector<int, std::string, int>()> parser = qi::int_ >> +qi::alpha >> qi::int_;
fu::vector<int, std::string, int> result;
bool r = qi::phrase_parse(iter, end, parser, qi::blank, result);
std::cout << " --- " << std::quoted(str) << " --- ";
if (r) {
std::cout << "parse succeeded: ";
fu::for_each(result, printer);
std::cout << '\n';
} else {
std::cout << "parse failed.\n";
}
if (iter != end) {
std::cout << " Remaining unparsed: " << std::string(iter, str.end()) << '\n';
}
}
}
注意这一行:
qi::rule<std::string::iterator, qi::blank_type, fu::vector<int, std::string, int>()> parser =
qi::int_ >> +qi::alpha >> qi::int_;
好的,所以我们需要一个整数,然后是一个字符串,然后又是一个整数。但是,我不想在第一个int和字符串之间跳过白色space,这里不能有space。如果我使用 lexeme,合成的属性就会变得混乱。
没有 lexeme
的 运行 给出以下结果:
--- "1foo 13" --- parse succeeded: 1 "foo" 13
--- "42 bar 13" --- parse succeeded: 42 "bar" 13
--- "13cheese 8" --- parse succeeded: 13 "cheese" 8
--- "101pencil13" --- parse succeeded: 101 "pencil" 13
所以一切都解析得很好,这很好。但是,第二个示例 (42 bar 13
) 不应成功解析,因此这里是第一个 int 和字符串 (qi::lexeme[qi::int_ >> +qi::alpha] >> qi::int_;
) 周围 lexeme
的结果:
" 0 "1foo 13" --- parse succeeded: 1 "
--- "42 bar 13" --- parse failed.
Remaining unparsed: 42 bar 13
--- "13cheese 8" --- parse succeeded: 13 " 0
" 0 "101pencil13" --- parse succeeded: 101 "
什么!?我对发生了什么一无所知,我很高兴得到任何启发:)
附带问题:我想完全省略 lexeme
并定义一个不跳过的子规则。在这种情况下如何指定属性?
子规则具有 fusion::vector<int, std::string>()
属性,但我仍然希望主规则具有 fusion::vector<int, std::string, int>()
作为属性,而不是 fusion::vector<fusion::vector<int, std::string>, int>()
(无论如何都不会编译)。
使用no_skip
指令:qi::int_ >> qi::no_skip[+qi::alpha] >> qi::int_
--- "1foo 13" --- parse succeeded: 1 "foo" 13
--- "42 bar 13" --- parse failed.
Remaining unparsed: 42 bar 13
--- "13cheese 8" --- parse succeeded: 13 "cheese" 8
--- "101pencil13" --- parse succeeded: 101 "pencil" 13
https://wandbox.org/permlink/PdS14l0b3qjJwz5S
Sooo.... what!? I have not the slightest clue what is going on, i'm happy for any enlightment :)
正如@llonesmiz 提到的,qi::lexeme[qi::int_ >> +qi::alpha] >> qi::int_
解析器绑定到 tuple<tuple<int,std::string>,int>
并且您已触发
trac 8013 bug/misfeature 两次(第一次用于整个序列解析器,第二次用于 lexeme 内的序列)。