两个并发的 Python 可以在 Boost Python 中处理运行吗？

Question

我正尝试在 boost::python 的 Python 解释器中运行并发 Python 脚本。这是一个简短的示例程序：

#include <Python.h>

#include <boost/python/exec.hpp>
#include <iostream>
#include <thread>

#include <boost/python/extract.hpp>
#include <boost/python/import.hpp>
#include <boost/python/object.hpp>

int main(int argc, char const *argv[]) {

  const char *prog = "def ack(m, n):\n"
                     "  if m == 0:\n"
                     "    return n + 1\n"
                     "  elif n == 0:\n"
                     "    return ack(m - 1, 1)\n"
                     "  else:\n"
                     "    return ack(m - 1, ack(m, n - 1))";

  Py_Initialize();
  try {
    std::thread t1([&prog]() {
      std::cout << "t1" << std::endl;

      boost::python::object mainModule = boost::python::import("__main__");
      boost::python::object mainNamespace = mainModule.attr("__dict__");

      boost::python::exec(prog, mainNamespace, mainNamespace);
      int val = boost::python::extract<int>(
          boost::python::eval("ack(3,3)", mainNamespace, mainNamespace));
      std::cout << "t1 result: " << val << std::endl;
    });

    std::thread t2([&prog]() {
      std::cout << "t2" << std::endl;

      boost::python::object mainModule = boost::python::import("__main__");
      boost::python::object mainNamespace = mainModule.attr("__dict__");

      boost::python::exec(prog, mainNamespace, mainNamespace);
      int val = boost::python::extract<int>(
          boost::python::eval("ack(3,4)", mainNamespace, mainNamespace));
      std::cout << "t2 result: " << val << std::endl;
    });

    t1.join();
    t2.join();
  } catch (boost::python::error_already_set const &e) {
    PyErr_Print();
  }

  return 0;
}

问题是程序间歇性失败。我已经在两个不同的 Linux 盒子上试过了。一方面，它大约有 3/4 的时间失败；另一方面大约有 1/10 的时间。最常见的失败消息是没有帮助的：

RUN FINISHED; Segmentation fault; core dumped; real time: 60ms; user: 0ms; system: 0ms

Boost Python 文档中有几个诱人的调用涉及并发，但 none 我尝试过的组合有帮助。 global interpreter lock (GIL) 似乎被设计为允许 C++ 访问 same Python 解释器线程，除非我误解了它。我想要两个完全独立的Python口译员同时运行宁。

This example 很接近，但使用两个独立的 C 线程偶尔调用 Python 来做一些工作。我正在尝试同时运行两个独立的 Python 进程。

This question 是类似的，尽管它提供的细节较少。在我的例子中，Python 解释器用于将外部进程捆绑在一起，这将在超级计算机上花费相当长的时间运行；他们不需要回调我的 C++ 应用程序。完成后，C++ 应用程序会从外部删除文件中收集并显示结果。

Answer 1

据我所知，约翰是对的。我们从未找到在 Boost Python 中运行两个并发 Python 项目的方法。有三种方法可以避免这个问题。这是第一个：运行两个 不同的 Python 口译员。

#include <Python.h>

#include <boost/python/exec.hpp>
#include <iostream>
#include <thread>
#include <sys/wait.h>

#include <boost/python/extract.hpp>
#include <boost/python/import.hpp>
#include <boost/python/object.hpp>

void python (std::string fork, int m, int n) {
  const char *prog = "def ack(m, n):\n"
                     "  if m == 0:\n"
                     "    return n + 1\n"
                     "  elif n == 0:\n"
                     "    return ack(m - 1, 1)\n"
                     "  else:\n"
                     "    return ack(m - 1, ack(m, n - 1))";

  Py_Initialize();
  try {
    std::cout << fork << std::endl;

    boost::python::object mainModule = boost::python::import("__main__");
    boost::python::object mainNamespace = mainModule.attr("__dict__");

    std::stringstream commandstream;
    commandstream << "ack(" << m << "," << n << ")";
    std::string command = commandstream.str();
    boost::python::exec(prog, mainNamespace, mainNamespace);
    int val = boost::python::extract<int>(boost::python::eval(command.c_str(), mainNamespace, mainNamespace));
    std::cout << fork << " result: " << val << std::endl;
  } catch (boost::python::error_already_set const &e) {
    PyErr_Print();
  }
}

int main (int argc, char const *argv[]) {
  pid_t pid = fork();
  if (pid == 0) {
    python("f1", 3, 4);
  } else if (pid > 0) {
    python("f2", 3, 3);

    int status;
    waitpid(pid, &status, 0);
  } else {
    std::cout << "Fork failed." << std::endl;
  }

  return 0;
}

第二种方法，也是我们最终使用的方法，是将代码放置到运行外部可执行文件中的 Python 解释器，然后运行那个。

第三种是阻塞线程，直到第一个 Python 进程完成。如果每个 Python 过程预计需要很短的时间，那是可行的，但在我们的应用程序中情况并非如此，因此我们拒绝了这个替代方案。

两个并发的 Python 可以在 Boost Python 中处理运行吗？

Can two concurrent Python processes run in Boost Python?

c++

python

boost

boost-python

两个并发的 Python 可以在 Boost Python 中处理 运行 吗？

Can two concurrent Python processes run in Boost Python?

c++

python

boost

boost-python

两个并发的 Python 可以在 Boost Python 中处理运行吗？