如遇到章节错误,请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,稍后尝试刷新。
第159章 论文发布
就在平平无奇的某一天,《破壁论坛》创刊號,封面震撼发布。
作为aetos联盟发布的论文集,论文质量高不高暂且不谈,但是热度这块,肯定不会低,关注的人自然也不少。
纯黑的封面背景下,是一个散发著幽蓝色微光的神经网络结构图,封面正中央,写著这样一句话—apathway towardsagl—scale intelligence。
使用英文只是为了方便外国人阅读,事实上,论文的原始稿件全部都是中文版本。
而ndn也被发布在了这上面,作者並不是一个人,而是整个aetos联合实验室。
很快,ndn就掀起了轩然大波,所造成的影响比当时的《attentionisall
you need》更甚。
燕京大学,智能计算实验室,凌晨三点。
不得不说,包括周昀在內的科研人员总有一个习惯,老是喜欢半夜三更发论文。
林凡,燕京大学智能计算实验室的博士后,方向是纯ai算法,平时打交道最多的就是transformer架构,他的博士论文、他正在进行的几个重点项目,无一例外,基本都是基於trans
former架构之上。
桌边,一杯冷掉的咖啡旁,散落著几篇试图在transformer基础上做一些轻微改进的论文草稿。
就在他揉著发胀的太阳穴,准备再次编译代码时,一个偶然弹出的学术社区推送吸引了他的目光——《破壁论坛》?
怎么感觉好像在哪里听到过这个名字?
但是具体的他也想不起来了,嘟囔了几句,顺手点开了推送,毕竟科研也得劳逸结合,放鬆放鬆脑子,说不定会有新的思路。
“apathwaytowardsagl—scale intelligence?”他轻声念出副標题,嘴角下意识地撇了撇,“又一个標题党。”
毕竟agi这个词,在学术界都快被用滥了,在最近几年,新出现的架构其实並不算少,而且每一个都號称超越了transformer,结果经过试验之后,很大一部分都是徒有其表,唯一一个还有点看头的就是mamba架构,但也称不上顛覆transformer。
不过他还是决定看一看,他点开了pdf。
“aetos联合实验室?原来是这个实验室!”作为国內热度一直不小的aetos
联盟,现在在整个计算机圈子里,基本就没有不认识的了,他们实验室有的项目还是用的aetos提供的方案做的,当他看到作者名字的时候,下意识提起了几分兴趣。
目光扫过摘要,看到“动態神经元”、“自发功能集群”、“摒弃固定层级”这些字眼时,眉头微微皱起。
引言部分匆匆扫了一眼,基本还是那些,他几乎都能背的出来,无非就是现有的各种架构的缺陷,这已经是一种写作套路了。
接下来的方法部分才是重头戏。
十分钟后,他的眼神逐渐专注,半小时后,他冲好了第二杯咖啡,但一口没喝,眼睛死死盯著屏幕上的数学推导和架构图,一小时后,他咬著笔尖,思考著论文中的数学公式。
笔尖在草稿纸上无意识地划拉著,在他的认知里,神经元就是加权求和、激活函数,是確定性的、可微的、为了反向传播而存在的组件,而ndn描述的却完全不是这样。
他本能地想否定,但那些用精確的数学语言定义了“动態神经元”的內部状態空间、模式选择函数以及参数微调机制告诉他,就是这样的!
他尝试沿著作者的思路进行推导,惊愕地发现,这套看似离经叛道的框架,在数学逻辑上竟然是自洽的!甚至————有一种异样的美感?
“这不可能————”他喃喃自语,这篇论文里的理论完全顛覆了他对神经网络底层运作方式的认知!
但是根据论文的逻辑,这些看似顛覆常识的方法却又符合数学逻辑。
而且当他看到实验部分,一条条碾压基准线、甚至呈现几何级数差距的曲线映入眼帘时,他只有一个感觉—要变天了!
数据不会说谎,除非他学术造假,但是这样一个大型实验室,完全没必要吧?
“难道我们一直走在一条次要的路径上?”
对於把大多数精力都放在transformer架构身上的他来说,打击无疑是巨大的o
他在椅子上,目光失焦地望著屏幕,过去几年里,他熬夜推导的公式、调试的模型、撰写的论文,那些曾经让他充满成就感的成果,此刻在ndn面前,仿佛都是无用功。
就好像你修炼了一百年,终於要飞升的时候,有人告诉你,你修炼错了,你这样是飞升不了的,而他还没什么理由反驳。
简单来说,他有点道心破碎了。
不过,並不只有他一个人有这种感觉,几乎全球所有的学者,都是差不多的感觉。
麻省理工学院,某顶尖ai实验室。
一位刚刚凭藉transformer架构改进获得顶会最佳论文奖的博士生,正志得意满地准备將成果开源,他顺手点开了导师转发来的ndn论文连结。
半小时后,他脸上的笑容彻底消失,取而代之的是一种茫然,他环顾实验室里掛满的白板,上面密密麻麻都是注意力机制的变体和优化公式,曾经这些都是他的骄傲,但是现在,似乎变的没什么意义了。
硅谷,某研究院。
一场原定討论下一代千亿参数模型架构的早间会议,彻底跑题,巨大的投影屏上展示著ndn的性能曲线图,会议室里鸦雀无声。
一位资深首席科学家猛地將手中的雷射笔摔在桌上,发出“啪”的一声脆响,打破了沉默。
“f**k!我们投入几十亿美金,几千个gpu年,就为了在一条次要道路上比別人快上百分之零点几?现在呢!”
欧洲,某大学城的咖啡馆。
一位年轻的助理教授和他的博士生相对而坐,笔记本屏幕上同样是那篇论文,博士生声音颤抖:“教授,我明年就要毕业了,我的毕业论文全是基於transformer的扩展————"
助理教授苦笑著摇了摇头,拍了拍学生的肩膀,想说些安慰的话,却发现自己词穷,他自己的tenure(终身教职)申请材料里,transformer相关的工作也是重中之重,但是现在,隨著ndn的提出,恐怕都要作为无用功了。
从顶尖学府到工业界巨头,从功成名就的学者到踌躇满志的青年研究员,同样的迷茫开始在全球ai圈蔓延。
对他们来说,ndn的提出,无异於是天塌了。
本章未完,点击下一页继续阅读。