Публикация

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Дисклеймер: контент OKX Orbit предоставляется исключительно в информационных целях. Подробнее

Ответы

Комментариев еще нет. Будьте первым!

Related Flash News

Аватар по умолчаниюChainCatcher1 ч. назад

Фьючерсы на американские фондовые индексы немного снизились, а акции полупроводниковой компании продолжили падать

Аватар по умолчанию币界网1 ч. назад

Bitget Wallet добавляет 130 новых токенизированных акций Xstock

Аватар по умолчаниюChainCatcher3 ч. назад

Институты: Спрос на дата-центры ИИ может стать причиной переоценки майнеров биткоина, и было объявлено о сотрудничестве на сумму более 90 миллиардов долларов

Аватар по умолчанию币界网4 ч. назад

Dell объединилась с Palantir для запуска собственной операционной системы на базе ИИ: базовое хранилище заменит Ceph, напрямую нацеливаясь на оборонные и основные банки

Аватар по умолчанию币界网9 ч. назад

Analog Devices планирует приобрести Empower за 1,5 миллиарда долларов, ужесточив ставку поставщика Nvidia MPS

Аватар по умолчаниюTechFlow15 ч. назад

WEEX Labs: ИИ и финансовый сектор резонируют сильнее, а аппетит к риску акций США продолжает расти

Аватар по умолчаниюChainCatcher18 ч. назад

Три основных фондового индекса закрылись смешанно: Li Auto упал почти на 10%

Аватар по умолчаниюChainCatcher22 ч. назад

Ондо: Токенизированные акции TVL превышают $1,5 миллиарда, с концентрацией около 25% основных активов

Аватар по умолчаниюChainCatcher22 ч. назад

Бывший исследователь OpenAI Ашенбреннер делает большие ставки на майнеров биткоина, одновременно ставя шорты на Nvidia и AMD

Аватар по умолчаниюChainCatcher22 ч. назад

Три основных индекса акций США снизились, при этом Micron Technology упала почти на 3%