Cython 函数指针和异常

Question

我正在尝试使用 cython 包装现有的 C 库。该库使用我想重定向的回调来执行 python 代码。假设 header 中对应的行如下：

typedef RETCODE (*FUNC_EVAL)(int a, int b, void* func_data);

其中 return 代码用于指示错误。 API 到创建对应的C struct如下：

RETCODE func_create(Func** fstar,
                    FUNC_EVAL func_eval,
                    void* func_data);

我添加了一个cython header/实现文件。 header 包含类型定义：

  ctypedef RETCODE (*FUNC_EVAL)(int a,
                                int b, 
                                void* func_data)

实现包含包装函数：

cdef RETCODE func_eval(int a,
                       int b,
                       void* func_data):
  (<object> func_data).func_eval(a, b)
  return OKAY;

我可以将这个函数传递给 func_create cython 包装器就好了。

但是，我想确保 python 代码中的异常是通过 return 将 ERROR 值报告回 C 库一个 return 代码。所以我添加了以下内容：

cdef RETCODE func_eval(int a,
                       int b,
                       void* func_data) except ERROR:
  (<object> func_data).func_eval(a, b)
  return OKAY;

但是，现在 cython 终止并显示以下错误消息：

  Cannot assign type 'RETCODE (*)(int, int, void *) except ERROR' to 'FUNC_EVAL'

我使用的 except ... 语句错了吗？

Answer 1

那是 Cython 试图防止你犯细微的错误。

首先，让我们回顾一下，错误处理在 CPython 中是如何工作的：有一个全局错误状态（每个线程），它在 error/exception 发生时设置。该状态包含有关异常类型、回溯等信息。惯例是，除了设置全局错误状态外，函数还通过特殊的 return 值表示其失败，因此不必在每次函数调用后检查错误状态。

一旦在函数中检测到故障，必须发生以下情况：

如果这个函数"knows"如何处理这个错误（例如"except"-clause），所以它必须在继续之前清除全局错误状态。
如果这个函数没有"know"如何处理他的错误，它必须中止并return发出失败信号。

一件重要的事情：如果函数没有报告发生的错误，它应该清除错误状态，否则 python 解释器处于不一致的状态并且可能发生细微的错误：例如 Cython [=具有 except? 的 13=]-函数取决于正确的错误状态（Cython 的 except-子句如何工作，例如参见 [=27=]）。

现在，回到您的 cdef 函数。

如果在没有 except 的情况下声明，Cython 会处理全局状态：如果发生错误，则在函数 [=81 之前清除状态（并将警告写入标准错误） =]是默认值。
如果函数是用 except 1 声明的，函数的调用者必须注意清除错误状态。

所以问题是：FUNC_EVAL-仿函数的调用者是否在发生错误时清除 Python 的错误状态？

如果是，将函数指针类型包装为 ctypedef... (*FUNC_EVAL)(...) except 1 以使 Cython 清楚，调用者将能够处理错误。
如果否（更有可能），您将不得不处理 cdef-函数中 Python 的错误状态。

在 "No" 的情况下，最直接的方法是在 cdef 函数中使用 try: ... except: ...，即

cdef RETCODE func_eval(int a,
                       int b,
                       void* func_data):
  try:
    (<object> func_data).func_eval(a, b)
  except Exception:
     return ERROR
  return OKAY

有人可能会担心，即使在没有引发异常的情况下，使用 try... except... 也会增加开销。这是真的。但是，您已经调用了一些 Python 功能，因此这种额外的开销不会降低性能。

我的快速实验表明，如果调用的 Python 功能中根本没有计算，您可能会损失高达 30%（请参阅答案附录中的实验）。但以上是极端情况，通常你会松的少很多，所以我不会尝试优化它，除非分析器显示它确实是一个问题。

如果你定义了ERROR=0和'OKAY=1, so you can use the implementation detail, that Cython sets the result to0`当它清除错误时。然而，这似乎是一条湿滑的道路。

开销的测量：

%%cython -a
cdef extern from *:
    """
    typedef int (*FUN)(void);
    void call(FUN f){
       f();
    }
    """
    ctypedef int (*FUN)()
    void call(FUN f)

def dummy():
    pass

cdef int cython_handling():
    dummy()
    return 1

cdef int manual_handling():
    try:
        dummy()
    except Exception:
        return 0
    return 1

def check_cython():
    cdef int i
    for i in range(1000):
        call(cython_handling)

def check_manually():
    cdef int i
    for i in range(1000):
        call(manual_handling)

现在：

%timeit check_cython()
# 21.6 µs ± 164 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)
%timeit check_manually()
# 27 µs ± 493 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)

Cython 函数指针和异常

Cython function pointers and exceptions

python

function-pointers

cython