المنشور

万亿参数开源模型跑出981词/秒，Cerebras测试KimiK2.6提速29倍

币界网
币界网
币界网消息，Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6，通过直接在整张12英寸硅晶圆上集成芯片，彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示，其生成速度达到981 tokens/s，比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中，总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒，提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值，层间通信完全运行在晶圆内部的网络织网上，其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化，Kimi K2.6以原始的4-bit权重进行低损存储，计算时使用16-bit浮点数维持精度，并采用定制算子内核与推测性解码最终达成实时化运行。
NVDA‏‎+0.04‎%‎‏
‏19:02 · ‏20‏/05‏/26·‏‎1.38 ألف‏ مشاهدات·
زيارة المصدر
‏‎0‏
‏‎0‏

إخلاء المسؤولية: يُقدَّم محتوى OKX Orbit لأغراض إرشادية فقط. اعرف المزيد

الردود

لا تعليقات حتى الآن. كُن أول من يرد!

Related Flash News

الصورة الرمزية للمصدرChainCatcher•منذ 22 دقيقة

الرئيس التنفيذي لشركة نفيديا: وحدات معالجة فيرا تفتح سوقا جديدة بقيمة 200 مليار دولار لشركة نفيديا

الصورة الرمزية للمصدر币界网•منذ 1 ساعة

تم رفع تهديد إضراب سامسونج، وارتفع سوق الأسهم الكوري الجنوبي بأكثر من 6٪

الصورة الرمزية للمصدر币界网•منذ 1 ساعة

Cohere Open Source Command A+: نموذج MoE الكبير المكون من 218 معاملة، يركز على الوكلاء على مستوى المؤسسة وسيادة البيانات

الصورة الرمزية للمصدر币界网•منذ 2 ساعتَين

أعلن ماسك أن سبيس إكس توفر خدمات طاقة الحوسبة بالذكاء الاصطناعي وهي تجري محادثات مع شركات أخرى

الصورة الرمزية للمصدرChainCatcher•منذ 6 ساعاتٍ

تحولت Nvidia إلى إيجابية بعد ساعات العمل، حيث تجاوزت إيرادات الربع الأول التوقعات

الصورة الرمزية للمصدرBlockbeats•منذ 10 ساعاتٍ

إعلان: سيتم إصدار تقرير أرباح الربع الأول من نفيديا ومحاضر اجتماع الاحتياطي الفيدرالي معا الليلة

الصورة الرمزية للمصدرChainCatcher•منذ 10 ساعاتٍ

تظهر التحليلات أن البيتكوين يتعرض لضغط مرة أخرى، وأن مشاعر المخاطر في الأسهم الأمريكية تثبط سوق العملات الرقمية

الصورة الرمزية للمصدرOdaily•منذ 12 ساعة

تواصل Bitget UEX توسيع قدرتها وتدعم الآن أكثر من 340 أصلا أسهما أمريكيا

الصورة الرمزية للمصدر币界网•منذ 18 ساعة

مجموعة رويكسون: تقرير أرباح Nvidia أضعف تأثير مشاعر المستثمرين في مجال الذكاء الاصطناعي

الصورة الرمزية للمصدر币界网•منذ 20 ساعة

قام دوان يونغبينغ بشراء ضخم لشركة تسلا، وقلل ممتلكاته في آبل، وباعت علي بابا بالكامل