- 博客(1)
- 资源 (7)
- 论坛 (1)
- 收藏
- 关注
原创 深度学习方法(二十一):常用权重初始化方法Xavier,He initialization的推导
文章目录交叉熵目标函数更陡峭Xavier initialization [1][4]He initialization [2][3]He init 考虑ReLU函数He init 考虑Leaky ReLU函数结束语参考资料交叉熵目标函数更陡峭在论文[1]中给了一个图示,一定程度上说明了为什么Cross Entropy用的很多,效果很好。图中上面的曲面表示的是交叉熵代价函数,下面的曲面表示的是二次代价函数,W1和W2分别表示层与层之间的连接权值。)在1986年 Rumelhart 已经发现:logi
2020-08-09 18:01:02
723
Matplotlib.ipynb
2020-02-08
A disciplined approach to neural network hyper-parameters Part I
2020-02-09
2018 - Optimization Methods for Large-Scale Machine Learning.pdf
2020-02-09
Reinforcement Learning an Introduction,2018最新版(第二版)
2018-01-13
大饼博士X的留言板
发表于 2020-01-02 最后回复 2020-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝