2 个矩阵之间的一维相关性

1D correlation between 2 matrices

我想找到两个矩阵之间的一维相关性。这两个矩阵是对两个不同图像进行卷积运算的输出。我们将第一个矩阵称为 matrix A,将另一个矩阵称为 matrix B。这两个矩阵的形状都是 100 x 100 x 64(比如说)。

我一直在关注一篇研究论文,该论文基本上计算了其中一个步骤中这两个矩阵(矩阵 A 和矩阵 B)之间的一维相关性,相关运算的输出也是一个形状为 100 x 100 x 64。 link 可以找到论文here。该网络可以在第 4 页找到。相关部分位于网络的底部。在第 3.3 节的第 2 段中提到了几行(在同一页上,网络下方)。

我不太确定一维相关是什么意思,更不知道如何在 Python 中实现它。我也对应用相关后输出的形状如何与输入保持相同感到困惑。我正在使用 PyTorch 库来实现这个网络。

如有任何帮助,我们将不胜感激。谢谢。

所以他们基本上有 1 张原始图像,他们将其视为深度感知算法的左侧视图,但是由于您需要立体视觉来计算静止图像中的深度,他们使用神经结构来合成右侧视图查看。

1 维相关采用 2 个序列并计算每个点的相关性,从而为您提供另一个与 2 个输入长度相同的一维序列。因此,如果您沿张量的某个轴​​应用此相关性,则所得张量不会改变形状。

直觉上,他们认为沿水平轴关联图像有点像阅读图像一样阅读书籍,但在这种情况下,它应该具有类似于识别更远的事物也出现的效果成为在左侧视图和右侧视图中靠得更近的点。距离较远的左侧和右侧数据点的相关性可能更高,这使得神经网络的深度分类更容易。