如何在工作进程中的 SharedArray 上使用插值，而无需每个进程创建自己的数据副本？

Question

我目前在 64 位 Debian Stretch ("testing") 中使用 Julia 0.4.6。我目前在 4 核 4GB VM 中使用它。

我基本上想做的是让主进程设置一个 3D SharedArray，然后在工作进程上并行生成从该 3D 数组派生的 2D 数组。问题是，如果我希望工作人员通过插值访问该卷（全部，因为我无法预测他们实际需要哪些位），我似乎遇到了内存使用率过高的问题。

这是一些演示我正在尝试做的事情的最小代码...

先来个插值免费版：

# Initialize 1GByte of SharedArray
volume=SharedArray(Float32,(512,512,1024))  # 1 GByte of shared data
volume[:,:,:]=rand(Float32,(512,512,1024))

# Function to compute directly from array
function test0()
  image=SharedArray(Float32,(512,512))
  @sync @parallel for y=1:512
    for x=1:512
      image[x,y]=volume[x,y,512]
    end
  end
  sdata(image)
end

println(mean(test0()))

无论我运行没有 worker 还是 -p 2、-p 4、-p 8 或 -p 16 都可以正常工作（没有太多性能改进，但请记住这是只是一个在每次迭代中做更多计算的东西的模型）。

但是这个版本：

using Interpolations

# Function to compute via interpolator
function test1()
  sampler=interpolate(volume,BSpline(Linear()),OnGrid())

  image=SharedArray(Float32,(512,512))

  @sync @parallel for i=1:512*512
    x,y=ind2sub((512,512),i)
    image[x,y]=sampler[x,y,512]
  end
  sdata(image)
end

println(mean(test1()))

使用 -p 2 启动系统交换，-p 4 让工作人员以 OutOfMemoryErrors 终止。

我猜测是插值器到工作进程的序列化忽略了它位于 SharedArray 上的事实，只是将数据批量复制到每个工作人员中的非共享副本。

我的问题是：我可以做些什么来改进它？对于我在这里尝试做的事情，是否有更好的模式，或者巧妙地使用 @<something> 会导致每个工作人员从共享数组而不是它自己的副本中插值？

更新：

这种方法似乎可以有效地将插值对象的创建推送到每个工作进程中：

function test(volume)

  image=SharedArray(Float32,(512,512))

  sampler=Nullable()

  @sync @parallel for i=1:512*512
    x,y=ind2sub((512,512),i)
    if isnull(sampler)
      warn(STDERR,"Allocating sampler...")
      sampler=Nullable(Interpolations.interpolate(sdata(volume),Interpolations.BSpline(Interpolations.Linear()),Interpolations.OnGrid()))
      warn(STDERR,"...allocated sampler")
    end
    image[x,y]=get(sampler)[x,y,512]
  end
  sdata(image)
end

...但是它仍然遇到完全相同的问题，并且由于内存耗尽，多个工作进程将开始交换或无法创建采样器。

仔细检查 Interpolations.jl 代码表明它通常希望填充 and/or 预过滤给定的数组（这显然意味着它需要一个副本）......但是我不能但是仔细阅读 Julia 以了解 BSpline(Linear()) 是否有机会绕过正在制作的那些副本并避免每个进程的大量内存开销。我看到二次插值提供了一个有趣的预过滤选项 "InPlace" 但我还没有进一步探讨这个问题（一个重要的问题似乎是避免 all 工人尝试预过滤共享数据）。

Answer 1

Apparently 解决方案是使用 interpolate! 版本的插值。这适用于我投入的尽可能多的工作进程：

using Interpolations

# Function to compute via interpolator
function test(volume)

  image=SharedArray(Float32,(512,512))

  sampler=interpolate!(
    volume,
    Interpolations.BSpline(Interpolations.Linear()),
    Interpolations.OnGrid()
  )

  @sync @parallel for i=1:512*512
    x,y=ind2sub((512,512),i)
    image[x,y]=sampler[x,y,512]
  end
  sdata(image)
end

# Initialize 1GByte of SharedArray
volume=SharedArray(Float32,(512,512,1024))  # 1 GByte of shared data
volume[:,:,:]=rand(Float32,(512,512,1024))

println(mean(test(volume)))

还有一个 prefilter! 暗示也可以类似地使用高阶插值方法，但线性插值足以满足我的目的。

如何在工作进程中的 SharedArray 上使用插值，而无需每个进程创建自己的数据副本？

How to use Interpolations on SharedArray in worker process without each process creating its own copy of data?

interpolation

shared-memory

julia