AMD首度公布MLPerf測試結果　展現全新AI領先地位

AMD表示，MLPerf有多種基準測試類型，包括MLPerf Inference: Datacenter、MLPerf Training以及於2024年推出的尖端大型生成式人工智慧（AI）語言模型Llama 2 70B。AMD選擇了受歡迎且具有重要意義的大型語言模型（LLM）Llama 2 70B進行首次MLPerf基準測試。

AMD指出，在MLPerf Inference v4.1（MLPerf 4.1推論）中為Llama 2 70B提出3項成果，包括：

展示出市場上最適合用於AI任務的AMD CPU和GPU組合；MI300X擁有192GB的大容量記憶體，讓單一MI300X GPU可執行整個Llama 2 70B模型，而大多數競爭對手的GPU則需要將該模型拆分至多個加速器上執行；AMD新一代CPU如何提升AI任務的效能。

根據MLCommons網站資料以及AMD部落格文章指出，在CPU和GPU組合，搭載8個AMD Instinct MI300X加速器和2個AMD EPYC 9374F（Genoa） ，在伺服器和離線兩種情境下，使用 FP8 精度時，與輝達的 DGX H100和 2 個 AMD EPYC 9374F（Genoa）CPU 的組合，在FP8精度的伺服器和離線場景中，其效能表現與搭載NVIDIA DGX H100和第4代Intel Xeon CPU 的組合相差僅2～3%。