目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

Python全系列 教程

3567个小节阅读:5930.9k

收藏
全部开发者教程

鸿蒙应用开发

C语言快速入门

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(683)
赞(0)

LSTM

image-20220707111257852

认识LSTM

LSTM是Long-Short Term Memory的缩写,中文名叫长短期记忆网络,它是RNN的改进

版本。为了更好地解决“梯度爆炸”和“梯度消失”的问题,让RNN具备更强、更好的记忆,于

是就出现了LSTM。

LSTM的“门结构”

LSTM的关键就是记忆细胞(在最上面的贯穿水平线上)。记忆细胞提供了记忆的功

能,使得记忆信息在网络各层之间很容易保持下去。

  • 遗忘门(Forget Gate)

遗忘门的作用是控制t-1时刻到t时刻时允许多少信息进入t时刻的门控设备

遗忘门的计算公式如下:

Γtf=σ(wf[at1,xt]+bf)

其中,x~t~是当前时刻的输入,a~t-1~是上一时刻隐状态的值

  • 输入门(Input Gate)

输入门的作用是确定需要将多少信息存入记忆细胞中。除了计算输入门外,还需要

使用tanh计算记忆细胞的候选值c^'^~t~

Γti=σ(wi[at1,xt]+bi)ct=tanh(wc[at1,xt]+bc)

然后,就可以对当前时刻的记忆细胞进行更新了

ct=Γtfct1+Γtict
  • 输出门(Output Gate)

输出门是用来控制t时刻状态值对外多少是可见的门控设备

输出门与t时刻隐层节点输出值得公式为:

Γto=σ(wo[at1,xt]+bo)at=Γtotanh(ct)

实时效果反馈

1. 关于LSTM,下列说法正确的是:

A 属于CNN的一种

B LSTM比RNN的结构更简单

C LSTM是RNN的改进版本,可以更好地解决“梯度爆炸”和“梯度消失”问题

D 以上说法均不正确

2. 关于LSTM的门结构,下列说法正确的是:

A 遗忘门的作用是确定需要将多少信息存入记忆细胞中

B 输入门的作用是控制t-1时刻到t时刻时允许多少信息进入t时刻的门控设备

C 输出门是用来控制t时刻状态值对外多少是可见的门控设备

D 以上说法均不正确

答案

1=>C 2=>C

 

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2