首页 > 现代都市 > 学霸的修炼空间 > 第591章 猫零的人设,被折服的深度求索技术团队

第591章 猫零的人设,被折服的深度求索技术团队(2/2)

目录

甚至到了最后,他的眉头直接拧成了一个疙瘩。

看不懂。

或者说,这代码里的物理逻辑和数学原理,完全超出了他的认知框架。

他能看出来这是在m架构的基础上做的改动,但他完全想不通,为什么在处理参数路由分发的时候,代码会莫名其妙地调用一组张量偏微分方程,直接绕过了传统的计算路径,强行抄了一条捷径!

「这种门控权重的分配方式……简直闻所未闻,这背后绝对关系到什么高深的数学技巧……」

梁锋喃喃自语着,只觉深不可测。

不过,虽然底层的数学原理看不懂,但作为资深程序员,代码本身写好不好,他还是能一眼看出来的。

这些代码没有一丝一毫的累赘,所有的内存调度、并发控制、多线程通信,全都写如同教科书般精准且优雅,堪称完美的艺术品。

哪怕是看起来,也让他感到十分舒服。

「真是漂亮……」

梁锋往椅背上一靠,由衷地发出了一声感慨。  这一刻,他对那位未曾谋面的令茂助理的技术水平,有了一个更深入的认知。

……

十分钟后,会议室。

当梁锋推开门走进去的时候,十几名公司的内核技术骨干已经全部到齐,正襟危坐。

「梁总,您刚下飞机就急着叫我们过来,是不是拿到那位林教授搞出来的算法了?!」

:

梁锋刚一进门,坐在首位左侧的一个男人就有些按捺不住地站了起来,眼神里满是炽热的期待。

说话的这人叫高左。

三十出头,是梁锋名下方幻a公司的头号技术大将。

方幻a,原本是专门为方幻量化基金提供数据清洗和深度学习工具支撑的技术子公司,这里面的人全都是纯粹的技术人员,本身不懂金融和量化交易,只负责算法和算力。

现在,随着深度求索公司的创办,梁锋直接把方幻a的内核技术班底和劳动关系,全部平移到了新公司的名下。

可以说,坐在这间会议室里的人,就是他手下最懂a大模型的那批顶尖工程师了。  而高左,更是这群人里的内核。

此前那套试图优化算力成本的m架构设想,很大一部分就是由他和梁锋在无数个日夜里熬出来的。

同时,作为技术狂人,他也算是林叶的狂热粉丝,对林叶在物理和数学界的能力可谓是推崇备至。

看着高左那双充满期待的眼睛,梁锋笑着点了点头。

「没错,拿到了。」

梁锋走到主位上,将手里的笔记本电脑连上会议室的投影大屏,沉声道:「底部的算法框架已经搞定,现在,我们需要开始对这套模型进行分析,确立一下后续的训练工程规划。」

算法模型写再好,那也只是图纸。

如何去清洗数据、如何安排显存切分、如何用他们能够调动的算力去高效地跑完预训练,这是另一件复杂的工程。

也是另外一套技术门槛。

如果别人拿到了他们的算法模型,但是不知道他们是怎么训练的,最终训练成果也只会是天差地别。

而这部分,可就不在梁锋准备开源的项目之内,将会是他们真正的护城河。

随着梁锋按下回车键,大屏上瞬间投射出了密密麻麻的内核路由代码。  「大家先看一下内核的门控分发模块吧,这是之前高左提出来的设想,林教授在那上面做了改动。」梁锋说道。

话音刚落,高左的目光立马锁定了屏幕。

起初,他眼底还带着一丝想要看看大神是怎么实现自己构想的期待。

但紧接着,仅仅看了不到一分钟,他整个人就猛地从座位上站了起来。

「这……这不对啊……」

高左瞪大了眼睛,嘴里不由自主地念叨着,甚至因为激动,直接快步走到了大屏幕前,恨不把脸贴在上面。

「高总监,怎么了?」旁边的几个工程师被他吓了一跳,连忙问道,「是代码有b吗?」

:

「有个屁的b!是这算法……太特么吓人了!」

高左的声音充满着激动,他指着屏幕上一段调用了高端张量的代码,如同看到了鬼一样:「你们看这里!传统的m,在分发tkn的时候,必须经过全连接层去算概率对吧?」

「但是你们看他写的这几行!他没有去算概率!他在这里嵌入了一个我完全看不懂的数学算子,然后就直接把tkn给丢到正确的专家模型里去了!」

高左猛地转过头,看着梁锋,激动地说道:「梁总,这绝对不是我之前设想的那种稀疏门控……这特么很可能是用了什么拓扑数学逻辑,直接就在代码层面上抄了近道啊!」  「如果我们真的能把它在p上跑起来,算力成本绝对能够轻松降低好几倍!」

整个会议室瞬间陷入了一片安静中。

所有懂行的工程师都倒吸了一口冷气,纷纷凑近屏幕,越看越觉不可思议。

用拓扑技巧来优化大语言模型的路由分发?

这是怎么想出来的?!

高左站在屏幕前,深吸了一口气,满脸通红地憋出了一句话:「林教授……真不愧是林教授啊!」

看着群情激奋,已经被那十几行代码彻底折服的技术团队,梁锋的嘴角勾起了一抹满意的笑容。

他知道,士气已经彻底被点燃了。

「好了,感慨留到以后再说。」梁锋目光扫视过全场,「架构林教授已经给咱们搭好了,接下来的体力活,就看咱们的了。」

「从今天开始,咱们要以最快的速度确立工程规划,打通数据流水线!」

「我希望能够在最短的时间内,让这套算法,真正在我们的服务器里跑起来!」

「争取以最快的速度,让我们的深度求索模型,真正问世!」  「明白!!」高左大吼一声,整个会议室里的所有人,摩拳擦掌,热血沸腾。

:

目录
返回顶部