字体
大
中
小
关灯
上一章 回目录    收藏 下一页

第 373 章 发布倒计时(1/3)

十二月十一日,距离灵犀预览版发布还有九天。

陆尧在早上七点就到了联想总部,比平时早了整整一个小时。

AI研究院的办公区里已经坐了大半的人,有人盯着屏幕跑测试,有人对着白板画架构图,有人端着咖啡在走廊里快步走过。

空气里有一种被压缩过的紧张感,像考试前最后几天的自习室。

倪光南比他更早到。

八十岁的老人坐在会议室里,面前摊着三台笔记本电脑,一台跑端侧模型,一台跑端云协同,一台开着实时监控面板。

他见陆尧推门进来,摘下老花镜,说了第一句话。

“端侧模型的拆分方案跑通了。

日常对话模型十二亿参数,跑在征程四代上的推理速度是每秒五十二个token。

知识问答模型全部放在云端,端侧只做意图识别和转发,中间的多轮对话和复杂写作走端云协同。”

“体验数据呢?”陆尧在他对面坐下。

“日常对话的体验跟ChatGPT持平。

多轮对话稍微差一点,大概九成,复杂作业八成五。”倪光南翻开笔记本,“但端云切换的失败率压到了百分之零点八,比目标低。”

陆尧在笔记本上记了一笔。

失败率百分之零点八,意味着每一百次端云切换只有不到一次失败。

这个数据可以接受。

“压力测试什么时候能跑完?”

“今天下午。”倪光南说,“AI研究院的测试团队在做最后一轮压力测试,模拟十万用户同时使用灵犀的场景。

端侧推理、端云切换、云端回传,三条链路同时跑。

今天下午三点出结果。”

从倪光南的会议室出来,陆尧去了地平线余凯的芯片测试实验室。

余凯正在跟地平线的工程师调试征程四代的硬件加密引擎。

屏幕上显示着端云加密链路的实时延迟数据,平均八毫秒,峰值十二毫秒。

“硬件加密引擎的驱动全部跑通了。”余凯转过身来,“征程四代的安全加密引擎跟火山引擎的加密协议做了硬件级对接。

端云之间的数据加密不再占用CPU资源,全部走硬件通道。

延迟从软件加密的十二毫秒压到了八毫秒。”

“功耗呢?”

“四瓦。

跟设计目标一致。”余凯翻开笔记本,“征程四代的推理单元在峰值负载下功耗会往上走一点,但端侧模型的拆分方案把负载分散了,峰值功耗没有超过四点二瓦。”

陆尧在实验室里走了一圈,看了几台测试设备。
本章未完,请翻下一页继续阅读.........
上一章 回目录    收藏 下一页