如遇到章节错误，请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能，稍后尝试刷新。
梯度消失和梯度爆炸问题也是一个极其难缠的问题。
和神经网络有关的研究人员在1991年就注意到梯度消失和梯度爆炸现象。
该问题在长短期记忆神经网络出现后得到一定的缓解。
但还是没有彻底解决梯度消失和梯度爆炸问题。
除了利用长短期记忆神经网络之外，其他的几种处理梯度消失和梯度爆炸的问题的方式（比如说多级层次结构、利用更快的硬件、利用其他的激活函数等等。）也各有各的局限性。
总之梯度消失和梯度爆炸问题但还没有被彻底解决。
到今天梯度消失和梯度爆炸问题已然成为了机器学习上空中一朵乌云。
这个问题已然严重制约机器学习向前发展。
心念及此，埃克莱尔·基尔卡加不免有些感慨。
也不知道这个问题什么时候会被什么人彻底解决？？？
埃克莱尔·基尔卡加突然感觉他对lin hui算法这么较真也没什么必要啊？
诸如梯度消失和梯度爆炸现象这问题都二十多年了还没彻底解决。
不也没什么人着急吗？至少看起来没啥人着急？
自己为什么要为要跟lin hui这么一个算法较劲呢？
埃克莱尔·基尔卡加突然有些疲乏感。
不过面对兴冲冲的同事，埃克莱尔·基尔卡加还不至于打退堂鼓。
埃克莱尔·基尔卡加：“我现在还不能够肯定lin hui算法中用的就是长短期记忆神经网络。
只能说lin hui算法中所采用的神经网络的特征有点类似于长短期记忆神经网络。
至于到底是不是还有待验证。
说起来那些高层跟麻省理工学院自然语言处理文本摘要研究小组那边闹得不欢而散还真是个损失。
据我了解伊芙·卡莉他们在研究抽取式文本摘要算法的时候就用到了循环神经网络了。
只不过他们用的具体是哪种循环神经网络暂时还不清楚。
不过不管怎么说，我觉得能有麻省理工学院那边的帮助的话对我们来说将会助力不小。”
哈雷·普莱斯：“这倒是个问题，不过问题不大。
m國最不缺的就是研究机构。
我前段时间听尼克那家伙说普林斯顿大学的朱尔斯教授正在搞一个循环神经网络的项目。
或许我们可以跟普林斯顿大学展开合作？”
埃克莱尔·基尔卡加：“呃，你确定要跟普林斯顿那些傲慢的数学佬打交道？
他们看我们的就跟我们看那些文科生的一样？
还有如果我们和他们合作的话，究竟是以谁为主导？研究出来的成果又怎么划分？”
哈雷·普莱斯：“他们怎么看我们无所谓。
一群搞数学的现在搞循环神经网络，谁更占优势还不一定呢？
至于谁主导到时候再说吧，一切达者为尊。”
埃克莱尔·基尔卡加：“那你去联系吧，反正我是懒得跟朱尔斯那个老秃驴洽谈。”
哈雷·普莱斯：“呃，其实我也不想去跟朱尔斯联系……”
埃克莱尔·基尔卡加：“那你还提这个馊主意？”
哈雷·普莱斯坏坏地道：“或许我们可以叫阿西莱·维拉斯克斯去，谁叫他卖专利给那个lin hui……”
埃克莱尔·基尔卡加：“这是个好主意！”
处理梯度消失和梯度爆炸有好几种方法，主角掌握的残差神经网络。残差神经网络不止能处理这一个问题还能顺带着解决一个很重要的问题。提出残差神经网络那个论文，特别大的影响力。论文提出来不到六七年时间，现在引用次数107599次了。感觉主角拿出来这个论文，博士没问题。而且正常时间线这个论文就是15/16年出现的。不算太离奇。
(本章完)
本章未完，点击下一页继续阅读。