1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导 (1)加法门单元:均等分配 z=x+y z对x求偏导:得到1 z对y求偏导:得到1 也就是均等分配 (2)MAX门单元:给最大的 (3)乘法门单元:互换 z=xy z对x求偏导:得到y z对y求偏导:得到x 绿色是前向传播: 输入x=3 , y=-4 ,通过乘法门单元,得到xy=-12。 输入x=2 , y=0 ,通过max门单元,得到结果2。 -12+2=-10 ,-10*2=-20.
红色是反向传播: 输入1,12=2 ,如何加法门单元求偏导,所以上下都是2 然后23=6 ,乘法门单元进行互换。 然后2*(-4)=-8门单元。 2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.
2.
推荐文章
大家都在找:
神经网络:神经网络分类
人工智能:人工智能的发展现状及前景
深度学习:深度学习概念及特点
发表评论
2024-07-19 10:38:30回复
1. 加法门单元:均等分配 z=x+y
z对x求偏导:得到1
z对y求偏导:得到1
结果:z = x + y
2. MAX门单元:给最大的
z对x求偏导:得到y
z对y求偏导:得到x
3. 乘法门单元:互换 z=xy
z对x求偏导:得到y
z对y求偏导:得到x
绿色是前向传播,输入x=3, y=-4,通过乘法门单元,得到xy=-12,输入x=2, y=0,通过max门单元,得到结果2,用反向传播计算损失函数。