字体
大
中
小
关灯
上一章 回目录    收藏 下一页

第 322 章 大模型(1/3)

一月,燕京,联想AI研究院。

端侧大模型的季度评审安排在下午两点。

陆尧从鹏城回来之后直接去了研究院,连办公室都没回。

倪光南已经在会议室里了,面前摊着一份技术进展报告,旁边坐着AI研究院的负责人和几个核心工程师。

倪光南穿了一件深灰色的羊毛开衫,精神很好。

八十岁的人了,每周还来研究院三天,带着团队改模型、调参数、跑测试。

陆尧有时候觉得,这个人身上有一种跟年龄不相称的劲头。

那种劲头他在余凯身上见过,在朱一鸣身上见过,在曹旭东身上也见过,做技术的人,一旦认准了方向,就会一直往前走。

“陆总,进展比预期的快。”倪光南把报告推过来,“端侧大模型的参数量从十亿提到了三十亿,推理速度优化到了每秒钟四十个token,功耗控制在两瓦以内。

测试机型是Take Fold二代,折叠状态下跑大模型,展开状态下跑桌面模式,切换的时候模型不用重新加载。”

陆尧翻开报告,逐页看了一遍。

技术指标、测试数据、优化方案、下一步计划,每一项都写得很细。

他在推理速度那一页停了一下,问了一句:“每秒钟四十个token,这个速度跟云端大模型比怎么样?”

“差一半。”倪光南说,“云端的大模型每秒能跑八十到一百个token,但云端要联网,有延迟,而且用户数据要上传,端侧的优势是快、私密、不依赖网络。”

“差一半够用吗?”

“看场景。”倪光南说,“如果是聊天问答,四十个token的速度足够了,用户打字的速度大概每秒三到五个字,四十个token等于每秒能生成二十个汉字,比人打字快得多。

如果是长文生成,稍微有点慢,但大部分用户不会在手机上写长文。”

陆尧点了点头,继续往后翻。

报告最后一页是端侧大模型的落地场景列表,排在第一的是跨设备协同,第二是智能助手,第三是图像处理,第四是语音交互。

每一个场景都标注了预计上线时间和负责团队。

“跨设备协同的进度呢?”陆尧问。

“已经跟Take Fold二代同步上线了。”AI研究院负责人接过话,“PC和手机的文件传输、屏幕镜像、通话转接全部打通了,下一步是平板的适配,三月底能完成。”

“用户反馈怎么样?”

负责人翻开另一份报告:“跨设备协同的用户使用率超过了百分之六十,是所有AI功能里最高的。

用户用得最多的场景是文件互传和剪贴板共享,有一个用户在音浪上发了视频,说‘用了联想的跨设备协同之后,再也回不去了’。

那条视频的播放量超过了三千万。”

陆尧合上报告,靠在椅背上。

窗外的燕京是一月的深冬,天色灰沉,中关村的楼群在薄雾中泛着灰白色的光。

会议室里暖气开得很足,桌上的茶杯冒着热气。

“倪院士,”陆尧说,“端侧大模型下一步的方向是什么?”
本章未完,请翻下一页继续阅读.........
上一章 回目录    收藏 下一页