輝達在官網提供文章，解釋 NVIDIA AI 在加速推論方面的優勢。AI發展長期以來受到「更多運算、更多訓練資料、更多參數」就能打造更強的AI模型這一思維驅動，然而，測試階段擴展技術的出現改變了這一觀念。在推論階段運用額外運算來提升準確度，讓大型語言模型（LLM）能透過多次推論處理複雜問題，並且在推理過程中詳述解決步驟。這種方式要求強大的運算資源來支撐AI的推理過程，進一步推動了對加速運算能力的需求，並促使AI訓練與推理技術的快速發展。
預訓練擴展被認為是AI發展的基礎法則。它證明了增加訓練資料、模型參數與運算資源可以有效提升AI的效能。大型基礎模型依賴於多模態數據（如文字、影像、音訊等），使得AI在理解與推理能力上不斷進化。預訓練過程需要大量的資源，這對許多組織而言是一個不小的負擔。
因此，許多企業選擇使用開源基礎模型，並透過微調（fine-tuning）等技術，使這些模型更符合特定應用場景的需求。這一模式不僅降低了AI的採用門檻，還推動了AI技術的普及，同時促進了加速運算技術的發展，進一步推動了AI在各領域中的應用。
訓練後擴展技術使得AI模型能夠更貼合特定的應用需求。可以將預訓練視為AI學習的通識知識，而訓練後擴展則是將其專業能力進一步強化。例如，大型語言模型可透過這些技術來增強情感分析、翻譯，甚至在醫療與法律等專業領域中的理解能力。訓練後擴展的核心方法包括微調、剪枝（pruning）、量化（quantization）、蒸餾（distillation）、強化學習（RL）和合成資料增強（Synthetic Data Augmentation）。這些技術不僅提升了AI的運算效率，還增強了其準確性和適應性。
微調技術透過專屬資料來最佳化模型，使其能更精確地應對特定的任務。蒸餾技術則是讓小型模型從大型教師模型中學習，在效能和計算成本之間取得平衡。強化學習則透過用戶回饋（RLHF）或AI自身回饋（RLAIF）來優化模型決策，這在改善聊天機器人回應品質方面有顯著效果。
最佳解搜尋採樣（Best-of-n sampling）技術則能從多個生成結果中篩選出最佳答案，提高輸出質量。合成資料技術則能幫助補充訓練數據中的邊緣案例，提升AI在特殊情境中的應用能力。
隨著AI技術的發展，長思考技術逐漸成為解決複雜問題的關鍵。大型語言模型在面對複雜問題時，若僅依賴單次推論，往往無法得出最佳結果。為了解決這一挑戰，AI模型需要進行深入推理，並基於這些推理給出合理的答案，這正是代理型AI的核心能力。這一過程與人類的思考模式類似。例如，當面對簡單的算數問題「2+2」時，大多數人能夠直接回答「4」，但若要求制定一個能讓公司利潤成長10%的商業計畫，則需要經過多步推理和評估不同方案，才能給出最合理的建議。
為了尋找問題的最佳解決方案，長思考技術允許AI在推理過程中進行額外運算，並在回答前預演多個可能的解決方案。這種方式的運算量可能是單次推論的100倍，但這樣能夠提高最終答案的準確性和可靠性。例如，在開發複雜的客製化程式碼時，AI可能需要數分鐘甚至數小時來進行推理，最終找到最佳方案。這一推理過程能將複雜問題分解為多個步驟，並將思考過程展示給使用者，進一步提高問題解決的透明度。
測試階段擴展技術包含多種方法。思維鏈（chain-of-thought）提示將問題拆解為簡單步驟，有助於AI更系統化地進行推理；多數決抽樣技術讓AI生成多個回應並選擇最常見的答案；搜尋技術則能通過評估不同回應路徑來優化最終結果。這些技術的綜合應用，使得AI能夠更有效地處理多步驟、複雜的推理問題，並在實際應用中發揮更大的價值。
這些技術對多個行業的發展至關重要，尤其在醫療領域，AI能通過測試階段擴展技術分析大量資料，預測疾病進展，並根據藥物化學結構推測潛在副作用。此外，AI還能篩選臨床試驗資料，提供個性化治療建議，並解釋不同療法的優缺點。
在零售與供應鏈管理領域，長思考技術能幫助企業進行精確的需求預測、最佳化物流路徑，並作出永續的採購決策。全球企業也能利用AI草擬商業計劃、編寫與除錯程式碼，甚至優化無人駕駛車輛和倉儲機器人的運行路徑。隨著新一代推理模型如OpenAI的o1-mini和o3-mini、DeepSeek R1、Google DeepMind的Gemini 2.0 Flash Thinking等相繼問世，AI在推理和決策領域的潛力將得到進一步釋放。
不過，這些模型在推理過程中需要使用大量運算，才能對複雜問題進行推理與產生正確答案，代表企業仍需要擴充加速運算資源，才能提供能夠解決複雜問題、編寫程式碼和規劃多步驟的下一代AI推理工具，這也符合輝達在DeepSeek推出低成本AI模型後，仍強調需要購買更多AI晶片，支持AI模型發展的理論。
點擊閱讀下一則新聞
