FoxBrain模型原為內部應用而設計,涵蓋數據分析、決策輔助、文書協作、數學、推理解題與代碼生成等功能,後續將對外開源分享。FoxBrain作為鴻海研究院AI推理LLM模型訓練成果,不僅展現了強大的理解與推理能力,還能針對台灣使用者的語言風格進行優化,並在數學與邏輯推理測試中表現出色。
鴻海研究院人工智慧研究所栗永徽所長表示,「近幾個月,推理能力的深化以及GPU的高效運用逐漸成為AI領域發展主流。我們的FoxBrain模型採用高效訓練策略,專注於訓練過程優化而非盲目堆砌算力。通過精心設計的訓練方法和資源優化,我們成功打造出具備強大推理能力的本土AI模型。」
鴻海研究院人工智慧研究所在FoxBrain訓練過程中,使用120張NVIDIA H100 GPU,並透過 NVIDIA Quantum-2 InfiniBand 網路進行擴展,僅花約四周的時間完成,相較於近期其他公司所推出的推理模型,以更高效率,更低成本的模型訓練方式為台灣AI技術發展樹立新里程碑。
FoxBrain採用 Meta Llama 3.1 為基礎架構,擁有 70B 參數,在 TMMLU+ 測試資料集,大多數的領域優於國內相同規模的 Llama-3-Taiwan-70B,尤其在數學與邏輯推理方面展現卓越能力。
FoxBrain 採自主技術打造,建立 24 類主題的資料增強與品質評估機制,生成 980 億 tokens 的高品質中文預訓練資料。模型支援 128K token 上下文處理,訓練採用 120 張 NVIDIA H100 GPU,累積運算達 2688 GPU 天,並以多節點平行架構確保效能與穩定性。特別運用 Adaptive Reasoning Reflection 技術,強化模型自主推理能力。
測試結果顯示,FoxBrain 在數學領域表現超越 Meta Llama 3.1,較目前最佳的繁體中文大模型 Taiwan Llama 在數學測試中也有顯著提升,推理能力已超越 Meta 同等級模型,雖與 DeepSeek 蒸餾模型仍有些微差距,但整體表現已逼近世界領先水準。

FoxBrain 由鴻海研究院自主研發,涵蓋資料收集、清理與擴增、持續預訓練、監督微調、RLAIF 及自適應推理反思等流程,穩健完成每個環節。即使算力資源有限,仍達接近世界頂尖 AI 大模型效益,展現台灣科技人才實力。FoxBrain 雖起源於集團內部應用,未來也將攜手技術夥伴,擴大開源應用,推動製造業、供應鏈與智慧決策 AI 落地。
在模型訓練過程中,NVIDIA 提供 Taipei-1 超級電腦的支持以及技術諮詢,使鴻海研究院透過使用 NeMo 順利完成模型訓練。鴻海未來將透過導入 AI 大型語言模型,優化智慧製造、智慧電動車、智慧城市等三大平台的數據分析效率,讓FoxBrain成為驅動智慧應用升級的重要引擎,進一步提升公司營運效益。
