Boost精神内存泄漏

Question

我正在编写一个小程序来处理一个大文本文件并进行一些替换。问题是它永远不会停止分配新内存，所以最后它会耗尽内存。我已将其简化为一个简单的程序，该程序仅计算行数（请参阅下面的代码），同时仍分配越来越多的内存。我必须承认，我对 boost 和 boost spirit 知之甚少。你能告诉我我做错了什么吗？百万感谢！

#include <string>
#include <iostream>
#include <boost/spirit/include/lex_lexertl.hpp>
#include <boost/bind.hpp>
#include <boost/ref.hpp>
#include <boost/spirit/include/support_istream_iterator.hpp>

// Token ids
enum token_ids {
    ID_EOL= 100
};

// Token definition
template <typename Lexer>
    struct var_replace_tokens : boost::spirit::lex::lexer<Lexer> {
        var_replace_tokens() {
            this->self.add ("\n", ID_EOL); // newline characters
        }
    };

// Functor
struct replacer {
    typedef bool result_type;
    template <typename Token>
    bool operator()(Token const& t, std::size_t& lines) const  {
        switch (t.id()) {
        case ID_EOL:
            lines++;
            break;  
        }
        return true;
    }
}; 

int main(int argc, char **argv) {
    size_t lines=0;

    var_replace_tokens< boost::spirit::lex::lexertl::lexer< boost::spirit::lex::lexertl::token< boost::spirit::istream_iterator> > > var_replace_functor;

    cin.unsetf(std::ios::skipws);

    boost::spirit::istream_iterator first(cin);
    boost::spirit::istream_iterator last;

    bool r = boost::spirit::lex::tokenize(first, last, var_replace_functor,  boost::bind(replacer(), _1, boost::ref(lines)));

    if (r) {
        cerr<<"Lines processed: "<<lines<<endl;
    }  else {
        string rest(first, last);
        cerr << "Processing failed at: "<<rest<<" (line "<<lines<<")"<<endl;
    }
}

Answer 1

该行为是设计使然。

Me: It must be the multi_pass iterator adaptor. Since there is no grammar Spirit doesn't know when it can be flushed. [...]

You: As fas as I know, istream_iterator takes care of reading the input stream without having to store the whole stream into memory

是的。但是您没有使用 std::istream_iterator。您正在使用 Boost Spirit。这是一个解析器生成器。解析器需要随机访问以进行回溯。

Spirit 通过使用 multi_pass 适配器将输入序列调整为随机访问序列来支持输入迭代器。此迭代器适配器存储一个可变大小的缓冲区¹，用于回溯目的。某些操作（期望点、像 Kleene-* 等始终贪婪的运算符等）告诉解析器框架何时可以安全地刷新缓冲区。

问题：

你不是在解析，只是在标记化。没有任何东西告诉迭代器刷新其缓冲区。

缓冲区是无限的，因此内存使用量会增加。当然这不是泄漏，因为一旦多遍适配迭代器的最后一个副本超出范围，就会释放共享回溯缓冲区。

解决方案：

最简单的解决方案是使用随机访问源。如果可以，请使用内存映射文件。

其他解决方案包括让多通道适配器冲洗。实现 this 的最简单方法是使用 tokenize_and_parse。即使使用像 *(any_token) 这样的 faux 语法，这也应该足以说服解析器框架，您不会要求它回溯。

灵感：

Efficiently reading a very large text file in C++

答案涉及解析多 GiB 文件流。使用 wc -l

¹ http://www.boost.org/doc/libs/1_62_0/libs/spirit/doc/html/spirit/support/multi_pass.html 默认情况下它存储一个共享双端队列。使用 dd if=/dev/zero bs=1M | valgrind --tool=massif ./sotest:

在运行测试一段时间后查看

清晰显示

中的所有内存

100.00% (805,385,576B) (heap allocation functions) malloc/new/new[], --alloc-fns, etc.
->99.99% (805,306,368B) 0x4187D5: void boost::spirit::iterator_policies::split_std_deque::unique<char>::increment<boost::spirit::multi_pass<std::istream, boost::spirit::iterator_policies::default_policy<boost::spirit::iterator_policies::ref_counted, boost::spirit::iterator_policies::no_check, boost::spirit::iterator_policies::istream, boost::spirit::iterator_policies::split_std_deque> > >(boost::spirit::multi_pass<std::istream, boost::spirit::iterator_policies::default_policy<boost::spirit::iterator_policies::ref_counted, boost::spirit::iterator_policies::no_check, boost::spirit::iterator_policies::istream, boost::spirit::iterator_policies::split_std_deque> >&) (in /home/sehe/Projects/Whosebug/sotest)
| ->99.99% (805,306,368B) 0x404BC3: main (in /home/sehe/Projects/Whosebug/sotest)

Boost精神内存泄漏

Boost spirit memory leak

c++

boost

memory-leaks

boost-spirit

问题：

解决方案：

灵感：