普通神经网络MLP与RNN不得不说的秘密 记录一下RNN为什么可以记录以前历史信息，如何从公式中体现出？ 那么首先介绍一下为什么普通的神经网络不能记忆以前的历史信息，然后引出RNN的相应能力，因为如果普通的神经网络能够记录以前的历史信息的话，那么也就不会有RNN思想的诞生了。 1普通神经网络(MLP)首先我们有一个任务，就是进行词性标注，下面有两个训练数据。 他向我表白我觉得他的表白不够真诚 正确的词性是： 那么将这些训练数据送给神经网络进行训练，比如第一个数据 “他/r”，神经网络学习 “他->r”的一个映射，第二个数据 “向/p”，神经网络学习一个 “向->p”的映射，这样一直将训练数据学习完，更新到最后的参数，从而学习到model，但是问题来了。 学习示例图如下： 在上面的训练数据中，有些词语的词性并不是唯一的，比如“表白”一词，在“他向我表白”这句话中作为动词v，在“我觉得他的表白不够真诚”这句话中作为名词n，所以对于神经网络来说，它是会学乱的。 一下子神经网络要学习“表白”是动词，一下子又要学习“表白”是名词，神经网络也很无辜呀，它没有能力来处理什么情况下应该将“表白”判别为名词，什么情况下降“表白”判断为动词，因为神经网络学习不到周围的语境。喂给神经网络的数据和之前的数据并没有联系。 所以我们这个时候就需要一个能够记忆以前历史信息的网络出现，比如在第一句话中，碰到表达一词的时候，我知道他前面的词是“我”/代词，那么代词后面的表白作为动词的概率就远大于名词的表白，当然RNN还能够看到他前面好几个词语，理论上rnn可以记忆当前词语前面的任何词。 同理在第二句话的时候，碰到“表白”一词的时候，我们的网络能够知道他前面的词是“的” 本文来源：https://www.wddqw.com/doc/4fefc9807dd184254b35eefdc8d376eeafaa17d7.html