Tensorflow-Deeplearning - 输入和输出之间的相关性

Tensorflow-Deeplearning - Correlation between input and output

我正在尝试使用 tensorflow 进行语音识别。

我的输入是波形,文字是输出。

波形看起来像这样

[0,0,0,-2,3,-4,-1,7,0,0,0...0,0,0,20,-11,4,0,0,1,...]

单词将是一个数字数组,而每个数字代表一个单词:

[12,4,2,3]

训练后我还想找出每个输出标签的输入和输出之间的相关性。

例如我想知道哪些输入神经元 |样本负责第一个标签(这里是 12)。

[0,0.01,0.10,0.99,0.77,0.89,0.99,0.79,0.22,0.11,0...0,0,0,0,0,0,0,0,0,...]

输入的原始值将替换为相关性,0 表示不相关,1 表示完全相关。

目标是获取单词开始的位置。

tensorflow中有没有函数可以得到这种相关性?

问题

我有一个数据序列 (X),我想将其转换为另一个数据序列 (Y),并报告 (X) 的哪一部分对 (Y) 有贡献。

回答

这是一个众所周知的问题,Tensorflow.org 实际上有一个很好的例子 neural machine translation with attention

示例代码展示了如何将 X(西班牙语)翻译成 Y(英语)并报告 X 的哪一部分有助于 Y 的每个部分的决策(注意力)

可以使用完全相同的原理和代码将 X(波形数据)翻译成 Y(单词),并通过注意力读数报告波形数据的哪一部分对每个单词有贡献。

示例中的attention层被称为attention_layer.