这是一个创建于 3390 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近一两周认真学习了一下卷积神经网络算法，无奈很难查到详细的资料，大多数要么泛泛谈一下概念，要么直接给个不知对错的公式。因此我还是自行脑补了很多推导过程，不想废弃，就总结成了一篇博客，分享给大家。欢迎大家拍砖！
http://www.moonshile.com/post/juan-ji-shen-jing-wang-luo-quan-mian-jie-xi
另外，我还计划再写一个 demo ，如果真的写了，也会分享出来的~
第 1 条附言 · 2015-09-19 14:57:27 +08:00
梯度发散的疑问已经解决~
然后又有新的疑问的：在卷积层回传残差的时候，是用更新之前还是更新之后的权值？
 |
1
wavefly 2015-09-17 11:53:54 +08:00
高大上的既视感
|
 |
2
shadowind 2015-09-17 12:25:42 +08:00  1
哇，写的好详细~~赞一个~~
不过有以下几点想补充以下： - 输入图像一般需要归一化，但这个归一化应该是直接除以 255 ，即最大像素值，不是使用 sigmoid 或者 tanh 函数吧。 - 梯度发散：这个就像你说的那样，因为本身已经把输入归一化，而且更新梯度时一般都有个学习率的值， 0 到 1 之间的多个值相乘，就会变得很小，以至于无法更新参数的值，这就是梯度发散了。当然，训练数据的不合理也会导致梯度发散。其实，最终收敛的结果就是学习到的模型。 - 高斯池化：池化参数符合高斯分布，这个你了解下图像模糊的公式，就知道这其实也是卷积啦~~ 去年研究过一段深度学习，上面几点理解可能会有偏差，与君互勉~~ :-P |
 |
3
ilotuo 2015-09-17 12:53:02 +08:00
加油~已加 pocket 晚上再看
|
 |
6
est 2015-09-17 14:29:02 +08:00
技术贴留名。。。
|
 |
7
egrcc 2015-09-17 14:44:06 +08:00
赞！不过数学公式不太好看，建议楼主考虑支持下 mathjax 。
|
 |
8
rock_cloud 2015-09-17 14:45:39 +08:00
|
 |
11
moonshile OP @rock_cloud 嗯，这个教程确实不错，我之前也看过的~
|
 |
12
mahone3297 2015-09-17 21:50:43 +08:00
太高大上了，函数看不懂。。。 damn 。。。
|
|
15
shadowind 2015-09-18 10:11:13 +08:00
@moonshile 招数就是调参啊，感觉用 CNN ，一个重点在于数据准备，另一个重点就在于调参了，嘿嘿~~改改学习率什么的，又是一轮漫长的训练。
|
|
16
moonshile OP @shadowind 貌似任何机器学习算法的招数都是这样。。不过我这里着重的推导过程，不然看着代码或者公式结果似懂非懂。。调参上我还是菜鸟，需要练习。。
|
 |
17
zerh925 2015-09-20 01:29:02 +08:00
BP 神经网络没有使用最小二乘排除 local minimal 吗
|
 |
19
l6751902 2015-09-21 18:11:01 +08:00
@moonshile 为啥网页刷新后能显示公式，当切换 tab 或滚动后就变[Math Processing Error]了
|
|
20
moonshile OP @l6751902 这个我还真没遇见过。。你用的什么浏览器？换个浏览器试试，或者看看这里的公式能不恩那个显示 https://www.mathjax.org/
|
|
21
l6751902 2015-09-22 20:08:15 +08:00
firefox40.0.3 ， mathjax.org 上的没问题， 还有我开网银兼容模式也没问题。。
|
 |
22
alafun 2023-04-24 16:23:55 +08:00
打不开了
|
Select Language