第3822章 尾声(10)(1/4)
话音刚。
陈喜乐立刻带着两个年轻的工程师,把那块两米宽的白板骨碌碌的推了过来。
一个年轻的技术员,把一块板擦,几支崭新的黑色油性笔递了过去。
总控大厅前面的巨型屏幕上,十万张显卡的负载曲线依旧在红线之上猛烈跳动着。
几位外籍数学顾问交头接耳,眼神之中显现出了怀疑,焦虑。
“龟谷实验室,公认万亿参数都会发生梯度爆炸,陈总?
莫非你能在纯数学层面找到了解决办法?”
“这可不是光靠砸钱,就能解决的问题啊!”
瘫坐在转椅上的达里奥,脸上又出了一丝冷汗,剧烈的呼吸着。
山姆也握紧拳头,两眼通红的看着陈默。
陈默从容的拿起板擦,在白板上刷的一下,就把上面杂乱无章的公式全部抹去。
他拿掉了黑笔的笔帽,转过身面对着在场许多垂头丧气的算法大师:“好了,不要再钻牛角尖了。”
“你们之所以钻进了牛角尖,不是万亿参数的问题,而是你们的思想,还停留在过去蛮力计算的死胡同里面。”
达里奥愣了一愣,有些茫然的抬起头来:“什么意思?”
陈默也没有任何艰涩难懂的学术名词,而是拿起笔,在白板中央画了一个大圆:“达里奥,山姆,我先问你们一个最简单的常识。”
“我们人脑有上千亿个神经元,储存的知识五花八门。”
“但是我们在街上,去商店里面买一瓶水,我们的大脑之中的所有神经元,都得全部发挥出百分之百的极限来运转吗?”
达里奥下意识的摇摇头:“当然不会……大脑有非常精密的协调性,买水只调动最基本的视觉,语言反应,只有在复杂的微积分推理之中,才会充分调动高级逻辑皮层……”
“那不就结了?”
刷刷刷……
陈默在大圆内部画出了几道清晰的网格。
“你们现在要做的这个框架,就算让模型回答一句今天天气怎么样?
都要十万张显卡把所有万亿参数全部调动起来!”
“就好像是一个工厂里面,有一万人,问个几点钟的问题,要一万人齐声吼!”
“不但是累垮服务器,声音碰撞在一起更是一场灾难性的噪音碰撞!”
陈默在白板上方刷刷的写下了几个大字。
“第一,自适应混合专家动态路由激活机制!”
陈默在白板中间画出了八个代表子模型的方框,上面拉出了一条粗大的调度总线:“这八个方框,分别代表文学典籍,高等数学,机械工业等专长领域。”
“把庞大的单一万亿网络,拆分成几百个各自为阵的型专家子网络!”
“有专攻文学的专家,有专攻数学的专家,有专攻医学的专家,前头再设一个门控路由!”
本章未完,请翻下一页继续阅读.........