如遇到章节错误,请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,稍后尝试刷新。

第154章 agi

大赛结束之后,周的除了每周固定前往aetos的联合实验室,其他时间都泡在自己的实验室里。

在这期间,他们实验室又多了一位学生,主要的研究方向也相当的硬核,搞的是晶片研究,说实话,周昀也很好奇,为什么这样的人才会在一个双非,倒是又给他捡到漏了。

不过搞晶片也是需要硬体的,就算周昀现在有能力买,他也没那个时间,乾脆把新来的学生扔到aetos联合实验室里去了,反正那里设备非常充足。

至於为什么周昀没时间,是因为他最近在搞一个非常nb的东西,这个东西要是搞出来,改天换地都是轻的了。

没错,就是周昀一直梦想实现的agi。

之所以费这么大的力气搞aetos,就是觉得凭藉现有的模型架构和软硬体系统,很有可能永远都无法承载真正的agi。

而aetos,就是他为新一代agi量身打造的新载体,gpu架构本质上是为大规模、规则、高度並行的数值计算优化的,计算核心虽然数量庞大,但结构相对单一,控制逻辑简单,面对agi所需要的复杂且混合了多种模態的计算任务时,gpu的固定流水线和內存hierarchy会带来巨大的效率损耗和编程复杂性,这就非常依赖於模型的架构,模型架构优秀,性能就好,架构不优秀,性能就差。

而aetos的统一內存架构和极细粒度任务调度,正是为了应对这种“计算混沌”而生的,agi的“思维”过程,可能间在感知、记忆提取、逻辑推理、情感模擬等不同模式间切换,需要硬体资源能够像水一样灵活地流动和重组,aetos允许將不同类型的计算单元无缝地整合在同一个內存空间下,由运行时系统根据任务特性动態分配资源,实现“需要什么,就分配什么;哪里需要,就分配到哪里”的理想状態,这对於降低agi训练和推理的能耗、提升其应对复杂场景的敏捷性至关重要。

不过这都是周昀的假设,但他有一种预感,肯定能成功。

隨著aetos的不断叠代更新,功能也越来越完善,虽然依旧受制於硬体,但是因为其独特的优势,光从软体层面已经非常好用了,像是amd,英特尔这些厂商还会专门在开源本版上做优化,就像是游戏厂商对游戏引擎进行个性化的改造一样。

而有了如此承受的工具,周的的研究也快要有结果了。

比赛结束后的第三个月,实验室里,周的看著控制栏里输出的结果,嘴角久违的扬起了笑容。

神经擬態网络,这就是他这几个月的研究成果,简称ndn。

这个架构的灵感,直接源於他对人类大脑神经网络的理解,与当前主流transformer模型那种依赖固定前向和反向传播路径的结构截然不同。

【记住全网最快小説站 101 看书网伴你閒,101??????.?????超贴心 】

它的基本单元被称为“动態神经元”,与人工神经网络中简单的加权求和再激活的函数单元不同,每一个“动態神经元”都是一个具备一定自主性的计算代理,它內部封装了多种计算模式,並能根据输入信號的模式、强度和上下文,动態选择最合適的处理方式,甚至微调自身的激活閾值和输出函数,这模仿了生物神经元在神经调质影响下改变自身兴奋性的能力。

简单来说就是把生物里面神经元那一套搬到了电脑上,当然,可能不是照搬。

不过单个“动態神经元”的能力確实有限,甚至可以说“愚钝”,但ndn的特殊在於它们之间的连接与组织方式。

他拋弃了传统的层状结构,取而代之的是一种受大脑皮层功能柱和全局工作空间理论启发的“动態功能集群”机制,无数个“动態神经元”通过aetos硬体提供的极致通信带宽,形成一个巨大的、扁平的连接池,当处理特定任务时—一比如识別一个图像中的猫,或者理解一句话中的反讽相关的神经元不会按照预设的层级被激活,而是通过一种自发组织的方式,临时聚合成一个高效的、专用於该任务的”

微电路”或“功能集群”,这个聚合过程,极度依赖於aetos的极细粒度任务调度能力,想要用cuda实现,麻烦不说,而且还未必能达到一样的效果。

而且按照实验结果来看,当“动態神经元”的数量增加时,其性能不是传统深度学习中观察到的指数律提升,而是出现了一种几何倍增式的跳跃。

而当数量达到一定程度的时候,整个模型则会开始出现一种抽象推理和知识迁移的能力,不过这种能力还很弱,还需要时间优化修改,但是也足以看出,其巨大的潜力!

於此同时,沉寂了几个月的英伟达也有动作了,毕竟再不搞点动静出来,股价都得跌到底了。

老黄,作为技术高超的刀法大师,因为aetos的出现,也不得不稍稍调整一下自己的刀法了。

大洋彼岸,硅谷的心臟地带,英伟达的年度大会gtc正在举行,本来不应该是在这个时间点的,但是碍於aetos给的压力实在太大,只好提前了。

会场內,聚光灯下,身著標誌性皮衣的黄仁勛登台。

隨著大会的进行,老黄宣布了第一款產品——dgxspark,这台被誉为“世界上最小的ai超级计算机”,性能却高达1petaflop,並能在一台桌面设备上本地微调高达700亿参数的模型。

但是想都不用想,这种东西肯定对华国有限制。

紧接著,老黄將话题引向了当下最炙手可热的领域——ai推理。

“我们的对手给了我们不小的压力,但也在关键技术上为我们给了我们不少提示。”他坦言,这里的“对手”显而易见。

他宣布推出专为ai推理打造的blackweliuitragpu。与主要用於模型预训练的前辈a10o、h100不同,blackwellultra明確定位为“ai模型推理打造”,同时兼顾训练和多场景ai应用的高效性。

“然而,强大的晶片需要同样强大的神经系统”。”老黄话锋一转,介绍了新型ai推理服务软体dynamo,他解释道,dynamo能够协调和加速数千个gpu之间的推理通信,並使用分解服务將大型语言模型的处理和生成阶段分离在不同gpu上,確保最大程度地利用gpu

本章未完,点击下一页继续阅读。

www.74txts.com
玄幻魔法小说相关阅读More+

推演,道成元始

佚名

清冷直男,被疯批皇帝强制爱了

佚名

天幕宝可梦:曝光小智弒神救世!

佚名

穿越菩提老祖,西游第一劫难

佚名

我有了透视眼之后,运气好到爆

佚名

开局青云宗主,召唤大帝境老祖

佚名