透過搭載 Blackwell 平台的 Google 分散式雲端（GDC），協助企業在地端資料中心安全部署代理型 AI，保障病患紀錄、金融交易與政府機密等機敏資訊。NVIDIA 的機密運算技術能防止 Gemini 模型中的敏感程式碼遭未經授權存取，並確保用戶提示與微調資料不被外洩或竄改。Google Cloud 副總裁 Sachin Gupta 表示，這項結合 Gemini 模型與 Blackwell 的合作，讓企業能在不犧牲效能的前提下安全創新。
代理型 AI 有別於傳統 AI，其具備推理、適應與決策能力，能在動態環境中自主行動。例如在 IT 支援中，不僅提供解答，更能自動診斷與修復問題；在金融領域則能即時封鎖可疑交易並調整偵測規則。隨著企業導入代理型 AI，這類具備高度資料隱私保護與自主決策能力的解決方案，正成為推動新一波技術革新的關鍵。
雖然許多企業已能透過多模態推理模型整合文字、影像、程式碼等多種資料類型，打造雲端代理型 AI 應用並解決複雜問題，但對安全性或資料主權有嚴格要求的企業仍難以實現。隨著最新消息發表，Google Cloud 成為首批提供機密運算功能的雲端服務供應商之一，能保護雲端與混合環境中的代理型 AI 工作負載。
這項解決方案由搭載 Blackwell GPU 與 NVIDIA 機密運算技術的 NVIDIA HGX B200 平台所驅動，使客戶在不影響資料安全性或模型完整性的前提下，達成突破性的效能與能源效率。
在生產環境中擴展代理型 AI，需要兼顧強大的可觀察性與安全性，以確保效能穩定並符合法規。Google Cloud 今日宣布推出全新 GKE Inference Gateway，透過先進的路由與擴充能力，優化 AI 推論工作負載的部署。該服務整合 NVIDIA Triton 推論伺服器與 NVIDIA NeMo Guardrails，能提供智慧型負載平衡以提升效能、降低成本，並集中控管模型的安全與治理。
展望未來，Google Cloud 也將整合專為跨 AI 工廠服務與擴充推論模型而設計的開源函式庫 NVIDIA Dynamo，進一步強化代理型 AI 工作負載的可觀察性。
點擊閱讀下一則新聞
