线程代码在调用 FFI 进程时崩溃

Question

我已经将函数转换为使用线程（根据）。它在测试中的行为符合预期（也就是说，它 returns 与非线程版本的值相同）。但是，使用 ctypes 从 Python 调用它会导致调用进程崩溃。

一、工作函数：

#[no_mangle]
pub extern fn convert_vec(lon: Array, lat: Array) -> Array {
    // snip
    // orig is a Vec<(f32, f32)>
    // convert is a conversion function
    let result: Vec<(i32, i32)> = orig.iter()
        .map(|elem| convert(elem.0, elem.1))
        .collect();
    // convert back to vector of unsigned integer Tuples
    let nvec = result.iter()
        .map(|ints| Tuple { a: ints.0 as u32, b: ints.1 as u32 })
        .collect();
    Array::from_vec(nvec)
}

现在是线程版本，它通过了测试（使用 cargo test）但在从 Python 调用时崩溃：

#[no_mangle]
pub extern fn convert_vec_threaded(lon: Array, lat: Array) -> Array {
    // snip
    // orig is a Vec<(f32, f32)>
    // convert is a conversion function
    let mut guards: Vec<JoinHandle<Vec<(i32, i32)>>> = vec!();
    // split into slices
    for chunk in orig.chunks(orig.len() / NUMTHREADS as usize) {
        let chunk = chunk.to_owned();
        let g = thread::spawn(move || chunk
            .into_iter()
            .map(|elem| convert(elem.0, elem.1))
            .collect());
        guards.push(g);
    }
    let mut result: Vec<(i32, i32)> = Vec::with_capacity(orig.len());
    for g in guards {
        result.extend(g.join().unwrap().into_iter());
    }
    // convert back to vector of unsigned integer Tuples
    let nvec = result.iter()
        .map(|ints| Tuple { a: ints.0 as u32, b: ints.1 as u32 })
        .collect();
    Array::from_vec(nvec)
}

完整的可测试示例可用here

Answer 1

从错误消息来看，您似乎对某些输入使用了 0 的块大小。 [T]::chunks(size) 将断言 size != 0.

如果我们想要 NUMTHREADS 个块，我们可以这样拆分它：

// Divide into NUMTHREADS chunks
let mut size = orig.len() / NUMTHREADS;
if orig.len() % NUMTHREADS > 0 { size += 1; }
// If we want to avoid the case where orig.len() == 0, we need another adjustment:
size = std::cmp::max(1, size);

线程代码在调用 FFI 进程时崩溃

Threaded code crashes calling FFI process

python

multithreading

ffi

rust