FoxBrain模型原為內部應用而設計,涵蓋數據分析、決策輔助、文書協作、數學、推理解題與代碼生成等功能,後續將對外開源分享。FoxBrain作為鴻海研究院AI推理LLM模型訓練成果,不僅展現了強大的理解與推理能力,還能針對台灣使用者的語言風格進行優化,並在數學與邏輯推理測試中表現出色。

鴻海研究院人工智慧研究所栗永徽所長表示,「近幾個月,推理能力的深化以及GPU的高效運用逐漸成為AI領域發展主流。我們的FoxBrain模型採用高效訓練策略,專注於訓練過程優化而非盲目堆砌算力。通過精心設計的訓練方法和資源優化,我們成功打造出具備強大推理能力的本土AI模型。」

鴻海研究院人工智慧研究所在FoxBrain訓練過程中,使用120張NVIDIA H100 GPU,並透過 NVIDIA Quantum-2 InfiniBand 網路進行擴展,僅花約四周的時間完成,相較於近期其他公司所推出的推理模型,以更高效率,更低成本的模型訓練方式為台灣AI技術發展樹立新里程碑。

FoxBrain採用 Meta Llama 3.1 為基礎架構,擁有 70B 參數,在 TMMLU+ 測試資料集,大多數的領域優於國內相同規模的 Llama-3-Taiwan-70B,尤其在數學與邏輯推理方面展現卓越能力。

FoxBrain 採自主技術打造,建立 24 類主題的資料增強與品質評估機制,生成 980 億 tokens 的高品質中文預訓練資料。模型支援 128K token 上下文處理,訓練採用 120 張 NVIDIA H100 GPU,累積運算達 2688 GPU 天,並以多節點平行架構確保效能與穩定性。特別運用 Adaptive Reasoning Reflection 技術,強化模型自主推理能力。

測試結果顯示,FoxBrain 在數學領域表現超越 Meta Llama 3.1,較目前最佳的繁體中文大模型 Taiwan Llama 在數學測試中也有顯著提升,推理能力已超越 Meta 同等級模型,雖與 DeepSeek 蒸餾模型仍有些微差距,但整體表現已逼近世界領先水準。

FoxBrain 模型(對比Meta Llama 3.1 70B 與 Llama-3-Taiwan-70B) 在 TMMLU+ 上面幾個重要領域的得分。鴻海提供
FoxBrain 模型(對比Meta Llama 3.1 70B 與 Llama-3-Taiwan-70B) 在 TMMLU+ 上面幾個重要領域的得分。鴻海提供

FoxBrain 由鴻海研究院自主研發,涵蓋資料收集、清理與擴增、持續預訓練、監督微調、RLAIF 及自適應推理反思等流程,穩健完成每個環節。即使算力資源有限,仍達接近世界頂尖 AI 大模型效益,展現台灣科技人才實力。FoxBrain 雖起源於集團內部應用,未來也將攜手技術夥伴,擴大開源應用,推動製造業、供應鏈與智慧決策 AI 落地。

在模型訓練過程中,NVIDIA 提供 Taipei-1 超級電腦的支持以及技術諮詢,使鴻海研究院透過使用 NeMo 順利完成模型訓練。鴻海未來將透過導入 AI 大型語言模型,優化智慧製造、智慧電動車、智慧城市等三大平台的數據分析效率,讓FoxBrain成為驅動智慧應用升級的重要引擎,進一步提升公司營運效益。


點擊閱讀下一則新聞 點擊閱讀下一則新聞
台積電2月營收2600億元月減年增 續創歷年同期新高