Posteo

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Deslinde de responsabilidades: el contenido de OKX Orbit se brinda únicamente con fines informativos. Más información

Respuestas

Aún no hay comentarios. ¡Envía la primera respuesta!

Related Flash News

Avatar fuenteChainCatcherHace 50 min

Los futuros de los índices bursátiles estadounidenses bajaron ligeramente y las acciones de semiconductores continuaron cayendo

Avatar fuente币界网Hace 59 min

Bitget Wallet añade 130 nuevas acciones tokenizadas de Xstocks

Avatar fuenteChainCatcherHace 2 h

Instituciones: La demanda de centros de datos con IA podría impulsar la revaloración de los mineros de Bitcoin, y se han anunciado más de 90.000 millones de dólares en cooperación

Avatar fuente币界网Hace 3 h

Dell se ha asociado con Palantir para lanzar un sistema operativo nativo de IA: el almacenamiento subyacente sustituye a Ceph, apuntando directamente a los bancos de defensa y núcleos

Avatar fuente币界网Hace 8 h

Analog Devices planea adquirir Empower por 1.500 millones de dólares, reforzando así el proveedor de Nvidia, MPS

Avatar fuenteTechFlowHace 14 h

WEEX Labs: La IA y el sector financiero resuenan con más fuerza, y el apetito por el riesgo de las acciones estadounidenses sigue aumentando

Avatar fuenteChainCatcherHace 17 h

Los tres principales índices bursátiles cerraron de forma mixta, con Li Auto cayendo casi un 10%

Avatar fuenteChainCatcherHace 21 h

Ondo: TVL de acciones tokenizadas supera los 1.500 millones de dólares, con una concentración de aproximadamente el 25% de los activos principales

Avatar fuenteChainCatcherHace 21 h

El exinvestigador de OpenAI, Aschenbrenner, apuesta fuertemente por los mineros de Bitcoin mientras ofrece ventas cortas a Nvidia y AMD

Avatar fuenteChainCatcherHace 22 h

Los tres principales índices bursátiles estadounidenses bajaron en caída, con Micron Technology cayendo casi un 3%