相較於租用第三方AI基礎架構的高昂費用，高通的新方案使企業能在本地運行AI應用，有效節省營運成本與總體擁有成本（TCO）。企業可利用專有資料與微調模型，將生成式AI應用於多種自動化工作流程，適用場景包括零售、餐飲、醫療、製造等。這項技術不僅降低了AI部署門檻，還確保資料隱私與安全。
高通AI本地裝置解決方案由高通雲端AI加速器系列驅動，結合資料中心級效能與本地裝置的功耗優勢，支援多種AI功能。其靈活擴充性涵蓋從單一桌上型裝置到壁掛式叢集，能提供語音助理、小型語言模型（SLM）、大型語言模型（LLM）與多模態模型（LMM）的生成式AI服務。此外，該方案支援自然語言處理、電腦視覺與生成式AI功能，如智慧搜尋、AI助理、程式碼生成、影像與影片處理等。
高通AI推論套組為企業與開發者提供豐富的API與工具，支援生成式AI應用的開發與部署。該套組與流行框架和Kubernetes整合，確保靈活性與相容性，並具備完整的應用程式介面（API），包括使用者管理、圖像生成、音訊與影片生成功能，以及OpenAI API相容性。這使企業能夠快速將生成式AI應用整合至現有基礎架構中。
Aetina基於高通AI本地解決方案推出輕量AI裝置，運用微調後的生成式AI模型，實現即時回應、智慧搜尋與內容創作，並以功耗優化架構降低總體擁有成本。漢威聯合則與高通合作，運用AI自動化技術優化工業與商業場景的生產力與效率，涵蓋店內助理、現場資訊與服務支援等應用場景。
IBM正與高通合作，將其watsonx data平台與Granite系列AI模型部署至高通AI本地裝置，應用於汽車、製造與零售等領域。透過此合作，IBM的AI技術不僅實現更高效的本地運行，還能滿足企業對資料隱私與個性化的需求，進一步推動生成式AI在多元場景的應用落地。
點擊閱讀下一則新聞
