帖子

万亿参数开源模型跑出981词/秒，Cerebras测试KimiK2.6提速29倍

币界网
币界网
币界网消息，Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6，通过直接在整张12英寸硅晶圆上集成芯片，彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示，其生成速度达到981 tokens/s，比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中，总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒，提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值，层间通信完全运行在晶圆内部的网络织网上，其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化，Kimi K2.6以原始的4-bit权重进行低损存储，计算时使用16-bit浮点数维持精度，并采用定制算子内核与推测性解码最终达成实时化运行。
19:02 · 26/05/20·1,533 浏览量·
查看来源
0
0

免责声明：欧易星球内容仅供参考。 了解更多

回复

暂无评论，快来抢沙发！

相关快讯

来源头像Blockbeats•6 分钟前

阿联酋加入沙特和卡塔尔行列，敦促特朗普勿重启对伊朗战争

来源头像Blockbeats•32 分钟前

特朗普：股市再创历史新高

来源头像Blockbeats•37 分钟前

Michael Saylor：比特币正进入「春季」回暖阶段，市场将迎来反弹

来源头像ChainCatcher•54 分钟前

数据：Hyperliquid 单日 USDC 净流入放量突破 1.73 亿美元，创近 10 个月新高

来源头像Blockbeats•1 小时前

经济学家上调美国通胀预期，因战争推迟对美联储降息时间预期

来源头像Odaily•2 小时前

Polymarket：ZachXBT报告的安全事件系内部运营钱包私钥泄露，用户资金与市场结算安全

来源头像ChainCatcher•2 小时前

YZi Labs 开放 EASY Residency S4 孵化申请，聚焦 Web3、AI 和生物科技

来源头像方程式•3 小时前

AggrNews：POLYMARKET UMA CTF适配器合同似乎在POLYGON：ZACHXBT

来源头像币界网•3 小时前

西班牙经济大臣：欧盟与Anthropic就Mythos模型谈判进展甚微

来源头像ChainCatcher•3 小时前

香港首款获批稳定币 HKDAP 完成以太坊公链首次端到端交易