Tensorflow-Deeplearning - 输入和输出之间的相关性

Question

我正在尝试使用tensorflow进行语音识别.

我输入波形和字作为输出.

波形看起来像这样

[0,0,0,-2,3,-4,-1,7,0,0,0...0,0,0,20,-11,4,0,0,1,...]

单词将是一个数字数组,而每个数字代表一个单词:

[12,4,2,3]

训练之后,我还想找出每个输出标签的输入和输出之间的相关性.

例如,我想知道哪些输入神经元| 样品负责第一个标签(此处为12).

[0,0.01,0.10,0.99,0.77,0.89,0.99,0.79,0.22,0.11,0...0,0,0,0,0,0,0,0,0,...]

输入的原始值将替换为相关,而0表示无相关,1表示总相关.

目标是在单词开始时获取位置.

是否有张量流中的函数来获得这种相关性？

Answer 1

问题

我有一个数据序列 (X)，我想将其转换为另一个数据序列 (Y)，并报告 (X) 的哪一部分对 (Y) 做出了贡献。

回答

这是一个众所周知的问题，Tensorflow.org 实际上有一个很棒的带有注意力机制的神经机器翻译示例

示例代码展示了如何将 X（西班牙语）翻译成 Y（英语），并报告 X 的哪一部分对 Y 的每个部分的决策有贡献（注意力）

可以使用完全相同的原理和代码将 X（波数据）转换为 Y（单词），并通过注意力读出来报告波数据的哪些部分对每个单词有贡献。

示例中的注意力层称为attention_layer。