Python multiprocessing - 独立处理字典中的每个键值对

Question

我有一本看起来像这样的字典：

sampleData = {'x1': [1,2,3], 'x2': [4,5,6], 'x3': [7,8,9]}

我需要通过将数据传递给 blackBoxFunction 来对每个键值对进行一些计算。此功能需要时间来进行处理。最终输出存储在单独的字典中 finalValue = {}.

这是按顺序执行的代码：

for key in sampleData.keys():
    finalValue[key] = []
    for i in range(0,len(sampleData[key])):
        for j in range(i,len(sampleData[key])):
            if(i!=j):
                finalValue[key].append(blackBoxFunction(sampleData[key][i],sampleData[key][j]))

但是，每个键值对的计算是相互独立的。

我想知道如何在我的代码中使用多处理库来并行执行任务。

最终的字典结构将类似于输入字典。

finalValue 
{'x1': [31, 43, 53], 'x2': [97, 110, 131], 'x3': [135, 164, 137]}

Answer 1

尝试一些方法

from multiprocessing import Pool

def pair_black_box(data):
    key, values = data
    res = []
    for i in range(0, len(values)):
        for j in range(i, len(values)):
            if(i != j):
               res.append(blackBoxFunction(values[i], values[j]))
    return key, res

p = Pool(3)
finalValue = dict(p.map(pair_black_box, sampleData.items()))

Python multiprocessing - 独立处理字典中的每个键值对

Python multiprocessing - Independently processing for each key-value pair in the dictionary

python

multiprocessing

python-multiprocessing