水很深的深度学习Task05

文章目录

计算图

计算图的引入是为了后面更方便的表示网络，计算图是描述计算结构的一种图，它的元素包括节点(node)和边(edge)，节点表示变量，可以是标量、矢量、张量等，而边表示的是某个操作，即函数。在这里插入图片描述
下面这个计算图表示复合函数
在这里插入图片描述

循环神经网络

上一章我们已经介绍了CNN，可能我们会想这里为什么还需要构建一种新的网络RNN呢？因为现实生活中存在很多序列化结构，我们需要建立一种更优秀的序列数据模型。

  • 文本：字母和词汇的序列
  • 语音：音节的序列
  • 视频：图像帧的序列
  • 时态数据：气象观测数据，股票交易数据、房价数据等

RNN的发展历程

在这里插入图片描述
循环神经网络是一种人工神经网络，它的节点间的连接形成一个遵循时间序列的有向图，它的核心思想是，样本间存在顺序关系，每个样本和它之前的样本存在关联。通过神经网络在时序上的展开，我们能够找到样本之间的序列相关性。

下面给出RNN的一般结构：
在这里插入图片描述
其中各个符号的表示： x t , s t , o t x_ t,s_t, o_t xt​,st​,ot​分别表示t时刻的输入、记忆和输出， U , V , W U,V,W U,V,W是RNN的连接权重， b s , b o b_s, b_o bs​,bo​是RNN的偏置， σ , φ σ, φ σ,φ是激活函数， σ σ σ通常选tanh或sigmoid， φ φ φ通常选用softmax。

RNN案例

比如词性标注，

  • 我/n,爱/v购物/n,
  • 我/n在/pre华联/n购物/v
    Word Embedding：自然语言处理(NLP)中的 一组语言建模和特征学习技术的统称，其中来自词汇表的单词或短语被映射到实数的向量。比如这里映射到三个向量然后输入：
    在这里插入图片描述
    将神经元的输出存到memory中，memory中值会作为下一时刻的输入。在最开始时刻，给定 memory初始值，然后逐次更新memory中的值。

在这里插入图片描述
在这里插入图片描述
各种不同的RNN结构
在这里插入图片描述

长短时记忆网络

在RNN中，存在一个很重要的问题，就是梯度消失问题，一开始我们不能有效的解决长时依赖问题，其中梯度消失的原因有两个：BPTT算法和激活函数Tanh
有两种解决方案，分别是ReLU函数和门控RNN(LSTM).

LSTM

LSTM，即长短时记忆网络，于1997年被Sepp Hochreiter 和Jürgen Schmidhuber提出来，LSTM是一种用于深度学习领域的人工循环神经网络（RNN）结构。一个LSTM单元由输入门、输出门和遗忘门组成，三个门控制信息进出单元。
在这里插入图片描述

  • LSTM依靠贯穿隐藏层的细胞状态实现隐藏单元之间的信息传递，其中只有少量的线性操作
  • LSTM引入了“门”机制对细胞状态信息进行添加或删除，由此实现长程记忆
  • “门”机制由一个Sigmoid激活函数层和一个向量点乘操作组成，Sigmoid层的输出控制了信息传递的比例

循环神经网络的主要应用

问答系统

在这里插入图片描述

自动作曲

在这里插入图片描述

机器翻译

在这里插入图片描述