为啥神经网络里的BP算法花了那么久才被发明?

大数据 算法
Roseblatt在五十年代就提出了感知机, 又过了将近30年, 多层神经网络的BP算法才得以普及。

算法

Roseblatt在五十年代就提出了感知机, 又过了将近30年, 多层神经网络的BP算法才得以普及。

而事实上这不过是微积分中链式法则的简单应用而已, 为什么要花这么久呢?

bengio在quora上这样回答道:

很多看似显而易见的想法只有在事后才变得显而易见。

在控制论中, 很早就开始应用链式反则来解决多层非线性系统。

但在80年代早期, 神经网络的输出是离散的, 这样就无法用基于梯度的方法来优化了。

这时Rumelhart和Hinton想到, 只要把输出做成平滑的(sigmoid), 就可以用链式法则来训练多层神经网络了。

所以这不仅仅是链式法则的问题, 而是要跳出离散输出的框框, 这种理念上变革并不容易。

责任编辑:李英杰 来源: 36大数据
相关推荐

2020-08-20 07:00:00

深度学习人工智能技术

2017-05-31 13:23:41

神经网络深度学习

2017-07-06 17:03:45

BP算法Python神经网络

2017-11-30 18:05:18

2020-09-09 10:20:48

GraphSAGE神经网络人工智能

2022-06-16 10:29:33

神经网络图像分类算法

2018-07-03 16:10:04

神经网络生物神经网络人工神经网络

2022-02-15 23:38:22

Python机器学习算法

2018-02-09 09:59:12

神经网络算法识别

2017-12-19 11:54:51

微信朋友圈同步

2020-08-06 10:11:13

神经网络机器学习算法

2019-05-07 19:12:28

机器学习神经网络Python

2020-12-25 10:08:53

Python机器学习神经网络算法

2021-10-15 10:32:42

神经网络AI算法

2023-07-19 08:55:00

神经网络推荐系统

2017-08-07 11:36:04

神经网络数学BP

2024-03-07 13:14:01

AI大脑奖Hinton

2023-06-18 23:00:39

神经网络损失函数随机变量

2017-09-10 07:07:32

神经网络数据集可视化

2017-03-10 12:16:46

机器学习
点赞
收藏

51CTO技术栈公众号