AMD表示,ROCm 6.3的亮點包括: SGLang工具,專為AMD Instinct GPU上的大型語言模型(LLM)和視覺語言模型(VLM)推論進行優化,推論吞吐量提升高達6倍;其次,進階Transformer最佳化,引入FlashAttention-2,將Transformer模型的訓練與推論效率提高多達3倍,縮短企業AI產品上市時間。此外,AMD推出Fortran編譯器簡化傳統HPC應用的GPU加速,具備反向相容性與直觀整合功能,降低編碼修改需求。
ROCm 6.3還推出多項功能,全面提升開發者的效能與工作效率,包括:多節點FFT功能,rocFFT模組新增多節點支援,針對油氣勘探及科學研究等大規模數據集應用,提供更快速的運算與決策能力;此外,增強電腦視覺庫,新增AV1和rocJPEG等功能,協助開發者為影片分析、自主系統等多元場景建構先進AI解決方案,提升媒體娛樂與工業應用效益。AMD強調,ROCm 6.3將以更卓越的效能與多元功能,為生成式AI和高效能運算領域注入新動能,滿足企業日益複雜的需求。關於ROCm 6.3更多細節,連結在此。
點擊閱讀下一則新聞
賈永婕點燈公器私用負面爭議多 前101董座批膚淺虛榮、獨攬功勞