将向量的一部分分配给从属进程

Question

我想使用 C++ 和 OpenMPI 创建一个向量，然后在主进程中将向量的一部分均匀地分配给要处理的从属进程。因此，如果向量有 100 个整数并且有 5 个从属进程，那么每个从属进程将被发送一个包含 20 个整数的向量。

下面是我尝试使用的代码，但它不起作用。

#include <iostream>
#include <list>
#include "mpi.h"
#include <stdio.h>
#include <stdlib.h>
#include <vector>
#include <algorithm>
#include <map>
#include <random>

using namespace std;

int main(int argc, char **argv)
{
int rank, size, tag, rc, i;
MPI_Status status;
vector<int> vec(100);
vector<int> split_vec;

rc = MPI_Init(&argc, &argv);
rc = MPI_Comm_size(MPI_COMM_WORLD, &size);
rc = MPI_Comm_rank(MPI_COMM_WORLD, &rank);
tag=7;

random_device rd;
mt19937 gen(rd());
uniform_int_distribution<> dis;
generate(vec.begin(), vec.end(), [&](){ return dis(gen); });
// 100 ints / 5 slave processes
int split_size = vec.size() / size;
// split_size = size of vector of ints that each slave process should get
int offset = 0;
int j = 0;
int max = split_size;
if (rank==0) {
// master process
     for (int i=1; i<size; ++i){
            split_vec.clear();
            while(j < max){
                int elements = i_j + offset;
                split_vec.push_back(vec[elements]);
                j++;
            }
            max = max + split_size;
            offset = offset + split_size;
     MPI_Send(&split_vec[0], split_vec.size(), MPI_INT, i, tag, MPI_COMM_WORLD);
else{
   // slaves processes
   MPI_Recv(&split_vec[0], split_vec.size(), MPI_INT, 0, tag, MPI_COMM_WORLD, &status);
   // process the vector
}
   MPI_Finalize();
}// main

当我运行上面的代码时，我得到以下错误：

[comp-01:7562] *** An error occurred in MPI_Recv
[comp-01:7562] *** on communicator MPI_COMM_WORLD
[comp-01:7562] *** MPI_ERR_TRUNCATE: message truncated
[comp-01:7562] *** MPI_ERRORS_ARE_FATAL: your MPI job will now abort

它似乎正在正确地通过 vector<int> vec(100) 向量，获取前二十个整数，接下来的二十个，等等。但我认为它崩溃了，因为我一直在覆盖 split_vec 中的元素车库的价值使它崩溃了。当我打印矢量时，因为我在下面发送它是它崩溃前打印的内容。

0 64 0 33 0 1819240283 808662067 976302125 892679984 2121015 0 49 0 -773125744 32554 0 0 -773125760 32554 0 0

即使 vec 向量中没有 0 或负数。所以我试图通过添加 split_vec.clear(); 代码来解决这个问题，但这似乎也不起作用。

下面是我用来编译和运行的。

mpic++ -std=c++11 prog.cpp -o prog.o
mpirun -np 6 prog.o  // 5 slave process

Answer 1

需要进行以下更改才能使 MPI_Recv() 成功：

在您发布的代码中，split_vec.size() 在 MPI_Recv() 中为 0，因为 split_vec 尚未填充。因此，MPI_Recv()会收到一条消息，但向量不会被修改。
必须首先分配接收缓冲区。 在当前情况下，这意味着必须在调用 MPI_Recv(&split_vec[0],MPI_INT,split_size,...);。实际上，方法 vector::reserve(size_type n) will increase the capacity of the vector to at least n elements. As noticed by @Zulan , using split_vec.resize(split_size); 更正确，因为它还更新了向量的大小。

最后，下面的代码可以解决问题：

split_vec.resize(split_size);
MPI_Recv(&split_vec[0],MPI_INT,split_vec.size(),...);

这是更正后的代码。请注意，必须修改用于填充第 0 级数组的索引。通过mpiCC main.cpp -o main -std=c++11 -Wall

编译

#include <iostream>
#include <list>
#include "mpi.h"
#include <stdio.h>
#include <stdlib.h>
#include <vector>
#include <algorithm>
#include <map>
#include <random>

using namespace std;

int main(int argc, char **argv)
{
    int rank, size, tag;
    MPI_Status status;
    vector<int> vec(100);
    vector<int> split_vec;

    MPI_Init(&argc, &argv);
    MPI_Comm_size(MPI_COMM_WORLD, &size);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    tag=7;

    random_device rd;
    mt19937 gen(rd());
    uniform_int_distribution<> dis;
    generate(vec.begin(), vec.end(), [&](){ return dis(gen); });
    // 100 ints / 5 slave processes
    int split_size = vec.size() / size;
    // split_size = size of vector of ints that each slave process should get
    int offset = 0;
    if (rank==0) {
        // master process
        for (int i=1; i<size; ++i){
            split_vec.clear();
            split_vec.reserve(split_size);
            int j=0; // added j=0
            while(j < split_size){
                int elements = j + offset;
                split_vec.push_back(vec[elements]);
                j++;
            }
            //max =  split_size; 
            offset = offset + split_size;
            MPI_Send(&split_vec[0], split_vec.size(), MPI_INT, i, tag, MPI_COMM_WORLD);
        }
    }
    else{
        // slaves processes
        split_vec.resize(split_size);
        MPI_Recv(&split_vec[0], split_vec.size(), MPI_INT, 0, tag, MPI_COMM_WORLD, &status); // until receive is complete, split_vec.size()==0
    }
    MPI_Finalize();
}// main

最后，您将享受功能 MPI_Scatter()，它完全可以满足您的需求！

#include <iostream>
#include <list>
#include "mpi.h"
#include <stdio.h>
#include <stdlib.h>
#include <vector>
#include <algorithm>
#include <map>
#include <random>

using namespace std;

int main(int argc, char **argv)
{
    int rank, size;

    vector<int> vec(100);
    vector<int> split_vec;

    MPI_Init(&argc, &argv);
    MPI_Comm_size(MPI_COMM_WORLD, &size);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);

    random_device rd;
    mt19937 gen(rd());
    uniform_int_distribution<> dis;
    generate(vec.begin(), vec.end(), [&](){ return dis(gen); });
    // 100 ints / 5 slave processes
    int split_size = vec.size() / size;
    // split_size = size of vector of ints that each slave process should get


    split_vec.resize(split_size);
    MPI_Scatter(&vec[0],split_size,MPI_INT,&split_vec[0],split_size,MPI_INT,0,MPI_COMM_WORLD);

    MPI_Finalize();
}// main

将向量的一部分分配给从属进程

distributing part of a vector to slave processes

c++

vector

mpi