目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

Python全系列 教程

3567个小节阅读:5929.5k

收藏
全部开发者教程

鸿蒙应用开发

C语言快速入门

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(712)
赞(0)

前向传播与反向传播

image-20220612112744658

前向传播

计算输出值的过程称为“前向传播”

反向传播(Backpropagation,BP)

  • 反向传播(BP)是用来求解神经网络参数的重要方法

  • BP算法通过计算输出层结果与真实值之间的偏差(损失函数)来进行逐层调节参数

    以线性模型为例:

    y^=wx+bmin  J(w)=||yy^||2w=wηJ(w)w
  • 调用输出节点的backward()方法PyTorch就会自动求出叶子节点的微分值

此时查看一下z与y的grad值,发现并没有改变,因为它们都不是叶子节点

实时效果反馈

1. 关于前向传播,下列说法正确的是:

A 前向传播是从输出节点开始的

B 为了计算自动微分,在前向传播时就应该修改grad_fn属性值

C 目的是计算叶子节点的值

D 前向传播从叶子节点开始追踪信息流

2. 关于反向传播,下列说法正确的是:

A 调用输出节点的backward()方法就会自动求出叶子节点的微分值

B 与前向传播没有任何关系

C 反向传播结束后中间节点的grad属性被更新了

D 以上说法均不正确

答案

1=>D 2=>A

 

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2