右填充与左填充词向量?

rod*_*ira 3 nlp machine-learning lstm recurrent-neural-network

在 RNN 世界中,填充词向量的哪一端以使它们具有相同的长度重要吗?

例子

pad_left = [0, 0, 0, 0, 5, 4, 3, 2] 
pad_right = [5, 4, 3, 2, 0, 0, 0, 0]
Run Code Online (Sandbox Code Playgroud)

小智 5

有些人在他们的论文《Effects of Padding on LSTMs and CNNs》中对预填充和后填充进行了实验。这是他们的结论。

\n
\n

对于 LSTM,后填充的准确性 (50.117%)低于预填充 (80.321%)。

\n

预填充和后填充对 CNN 来说并不重要,因为与 LSTM 不同,CNN 不会尝试记住先前输出中的内容,而是尝试在给定数据中查找模式。

\n
\n

没想到补仓效果这么大,建议你自己验证一下。

\n