关于前馈神经网络的优化问题

hahaer

前馈神经网络（FNN）存在的缺陷：
1、收敛速度慢
2、容易陷入局部极小值
3、存在过学习现象

目前，前馈神经网络针对三方面的改进已经有了很多的方法，我在这里提个头，希望有兴趣的朋友们将这个问题讨论的深入一些。因为前馈神经网络（BP）应用广泛，并且理论算法完备，也挺实用的。
我的专业是：通信与信号处理
传统的改进方法：自适应学习率；全局优化算法＋神经网络；模糊理论＋神经网络
我对自适应学习率和GA＋BP算法进行过分析
并在通信的盲均衡中获得了很好的效果

作为一个提头，我会继续将资料和程序进行整编，以后陆续上传，希望朋友们有好的想法（最好是完整的思路和程序）拿出来一起学习！

summer

我也参加一下讨论吧，接触的时间不长一两个月吧。
常见的BP网络学习算法：
最速下降BP算法；动量BP算法；学习率可变的BP算法；弹性BP算法；变梯度算法；线性搜索路径；拟牛顿算法；LM算法等等
各种算法各有千秋，变梯度算法的应用比较广泛，而LM算法的速度较快；牛顿算法占用的空间比较大。
BP拟合好像要比BP的预测好做些，大家觉得呢？
具体问题还在慢慢的学习，希望能多多交流！:loveliness:

frogfish

原帖由 summer 于 2007-11-22 21:13 发表

                               
登录/注册后可看大图

我也参加一下讨论吧，接触的时间不长一两个月吧。
常见的BP网络学习算法：
最速下降BP算法；动量BP算法；学习率可变的BP算法；弹性BP算法；变梯度算法；线性搜索路径；拟牛顿算法；LM算法等等
各种算法各有千 ...

欢迎经常参与讨论

泡泡

BP网络还不是很成熟

frogfish

原帖由 泡泡 于 2007-12-10 23:32 发表

                               
登录/注册后可看大图

BP网络还不是很成熟

主要是隐层单元数的问题大多数还是根据经验来确定的，没有没有成熟的理论可依