NVIDIA NIM 微服務現在可直接於 AWS Marketplace、Amazon Bedrock Marketplace 和 Amazon SageMaker JumpStart 取得，開發人員可以更輕鬆地為常用模型部署 NVIDIA 最佳化的推論功能，大規模提升生成式 AI 的效能。
NVIDIA NIM 是 NVIDIA AI Enterprise 軟體平台的一部分，專為在跨雲端、資料中心及工作站安全部署高效能、企業級 AI 模型推論而設計。這些預先建置的容器基於 NVIDIA Triton 推論伺服器、TensorRT 等強大引擎，支援開源社群與客製化模型。
AWS 使用者可在 NVIDIA API 目錄預覽超過 100 種 NIM 微服務，支持模型包括 Meta 的 Llama 3、Mistral AI 的 Mixtral，以及 NVIDIA 自有的 Nemotron 等。常用模型經過 NVIDIA 加速運算優化，可自託管部署於 AWS 雲端上。
AWS 提供數款備受關注的 NIM 微服務，包括 NVIDIA Nemotron-4、Llama 3.1 8B-Instruct、Llama 3.1 70B-Instruct 及 Mixtral 8x7B Instruct 等，覆蓋從語言理解到創意文本生成的多樣化應用場景。
IT 諮詢公司 SoftServe 開發出六款完全部署於 AWS 並由 NVIDIA NIM 支援的生成式 AI 解決方案，包括藥物發現、工業助手和數位服務平台等，幫助各產業客戶縮短上市時間，降低成本並強化控制。
SoftServe 的生成式 AI 解決方案基於 NVIDIA AI Blueprints，這套參考工作流程結合了加速函式庫、軟體開發套件及 NIM 微服務，協助企業快速開發和部署如數位孿生、AI 代理等創新應用。
開發人員可依據需求，利用 AWS 服務部署 NVIDIA NIM 微服務。訪問 NVIDIA API 目錄即可試用超過 100 種 NIM 最佳化模型，申請開發者授權或 90 天 NVIDIA AI Enterprise 試用授權，立即開始高效能 AI 的應用部署。
點擊閱讀下一則新聞
