16. RNN 总结

RNN的独特价值在于:它能有效的处理序列数据。⽐如:⽂章内容、语⾳⾳频、股票价格⾛势…

之所以他能处理序列数据,是因为在序列中前⾯的输⼊也会影响到后⾯的输出,相当于有了“记忆功能”。但是 RNN 存在严重的短期记忆问题,⻓期的数据影响很⼩(哪怕他是重要的信息)。

于是基于 RNN 出现了 LSTM 和 GRU 等变种算法。这些变种算法主要有⼏个特点:

  1. ⻓期信息可以有效的保留
  2. 挑选重要信息保留,不重要的信息会选择“遗忘”

RNN ⼏个典型的应⽤如下:

  • ⽂本⽣成
  • 语⾳识别
  • 机器翻译
  • ⽣成图像描述
  • 视频标记