Post

Zyphra发布首个MI355X推理评测：长文本直逼B200

币界网
币界网
币界网消息，Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测，测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1，并对标NVIDIA B200。实测显示，AMD的288GB显存远超B200的180GB，使其在处理超长文本时能更高效地利用缓存，降低硬件成本。然而，AMD在芯片间互联上处于劣势，B200通过NVLink交换机实现900GB/s带宽，而MI355X采用点对点直连，通信效率较低。为弥补这一短板，Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示，尽管在单请求速度上NVIDIA B200仍领先，但在长文本场景下，Zyphra推理栈的吞吐量逐渐逼近B200，证明AMD在长文本生产环境中具备竞争力。
18:44 · 26-05-19·3,99 tn visningar·
Besök källa
0
0

Ansvarsfriskrivning: OKX Orbit-innehåll tillhandahålls endast i informationssyfte. Läs mer

Svar

Inga kommentarer än. Var den första att svara!

Related Flash News

Källa för avatarChainCatcher•16 m sedan

Den amerikanska penningpolitiska bakgrunden är positiv för den amerikanska dollarn, och förväntningarna på räntehöjningar stödjer dollarindexet

Källa för avatarChainCatcher•41 m sedan

Strive spenderade 30,3 miljoner dollar för att lägga till 382 Bitcoins

Källa för avatar币界网•43 m sedan

Pump Fun kommer att möjliggöra USDC-parning, vilket påverkar flödet av medel i SOL-ekosystemet

Källa för avatarChainCatcher•1 t sedan

Web3-plattformen för användargenererat innehåll, Tomoland, har tagit in 2 miljoner dollar i finansiering, ledd av Sky9 Capital

Källa för avatarChainCatcher•1 t sedan

Data: BlackRock satte in 5 847 Bitcoins på Coinbase, värdefulla till 449,52 miljoner dollar

Källa för avatarOdaily•1 t sedan

Standard Chartered Bank planerar att minska mer än 7 000 jobb till 2030

Källa för avatar币界网•2 t sedan

Canaan Technology släppte sin finansiella rapport för första kvartalet 2026: total intäkt på 62,7 miljoner dollar

Källa för avatar币界网•4 t sedan

Hyperliquidvalar: HYPE:s uppgång har lockat valar att jaga uppgången, och Hyperliquids TWAP-nettoköpkraft inom de närmaste 24 timmarna kommer att nå 2,8 miljoner dollar

Källa för avatarChainCatcher•4 t sedan

VanEck: Den digitala kreditmarknaden kan nå 2,5 biljoner dollar under det kommande decenniet, och BTC förväntas nå 1 miljon dollar

Källa för avatarChainCatcher•4 t sedan

X lanserade funktionen "Aktiva fans", som låter dig se antalet verkliga aktiva användare inom 24 timmar