高樹國表示，接下來真正會讓台灣在AI趨勢站到好的位置，其實是在商用市場應用，古人說，「吃飽穿暖了，才會顧面子問題。」西方則是說「馬斯洛需求理論」。因為對企業與消費者來說，AI在消費市場是「錦上添花」，有AI更好，沒有AI不影響；AI在商用市場是「雪中送炭」的炭，企業沒有AI而被競爭對手比下去，問題就大了。
高樹國指出，如果要給政府建議，會希望政府確認企業AI應用的Killer Application，並且整合相關資源來做運用，如此一來，不只是軟體業者可以得利，相關硬體製造商也會獲利，進而創造雙贏局面。
高樹國也舉例，2009年智慧型手機的推出，只有取代錄音筆、相機、MP3隨身聽之類的體積比它小或一樣大的產品，並無法取代PC，很多工作還是要在PC上面完成，這一點可以在COVID疫情期間的PC需求反彈獲得證實。AI PC的出現，就像是Internet或WiFi推出的時候一樣，會有更多AI新應用出來，讓許多對AI有興趣的人去用，一旦當出現殺手級的AI PC應用，需求就會明顯上升。
台智雲策略長李立國指出，生成式AI帶動很多產業想像的空間，包括金融業、如何透過大語言模型自動化櫃台前端業務，處理to B或To C業務，法金服務的金融分析。在醫療業部分，一個是透過傳統的與音轉文字（Speech to Text），可以在看診的時候把醫生說明轉換成文字，並且透過大語言模型做摘要。摘要內容甚至可以分專科進行處理；長期來說，很多大量的醫療資料來說，透過生成式AI做Insight探討與分析。
其實台灣最多在製造業導入生成式AI，包括透過大語言模型分析資料，下指令，甚至調度傳統ML模型，也在生產的參數與品保預測獲得不錯的成果。針對繁中環境，台智雲也將Llama3模型增加繁中訓練進行fine tune，也在製造業做了不少專業領域的fine tune，包括70B的模型，或8B的模型，fine tune給企業內部使用，解決特定任務，去做生產製程預測。
李立國認為，從商用角度，AI對企業的影響會越來越大，GPU算力也會越來越便宜，所以企業是可以擁有AI企業腦，不僅懂得繁中資料，而且懂得企業內部垂直場域資料。所以對於企業來說，如果想要建立自己的AI企業腦，要回過頭來看看企業所擁有的資料集，而且要是有用的資料，再加上盤點算力與可用模型，設定解決問題，透過外部資服團隊給的建議，才有辦法在企業內部導入AI，千萬不能為了AI而AI。
李立國也提到，台智雲已經幫不少企業在內部落地70B的模型，包括金融業、製造業、醫療業、IC設計、重工領域等等，而且獲得不錯效果。針對Meta最新推出的Llama 3.1，包括405B模型，以及更新版的70B模型與8B模型。由於405B模型對標GPT-4o，看起來是有機會可以落地。
耐能智慧董事長劉峻誠表示，由於訓練模型與GPU伺服器成本因素，現階段很多生成式AI應用都是在雲端執行，也就是透過雲端執行GPT（Generative Pre-trained Transformer，生成式預先訓練轉換器）運算，除了使用者會面臨資料需要上傳雲端的資安問題外，也會碰到每次詢問答案都不太一樣的情況，這也造成企業導入AI所面臨的問題。
由於台灣廠商最有機會的是To B的生成式AI應用，再加上耐能是NPU的開發者和商標持有人，具備NPU加速器、AI晶片、AI演算法等關鍵技術，因此有辦法將 NPU 嵌入到設備中，讓產品具備AI功能。
劉峻誠指出，由於台灣廠商最有機會的是To B的生成式AI應用，因此耐能推出基於NPU技術的地端AI軟硬整合方案，內建Local RAG（檢索增強生成，Retrieval-Augmented Generation，簡稱RAG）功能，輕量級大語言模型甚至可以直接部署，運算速度快且低耗能，可應用於各種企業 GPT 方案。也就是企業可以在地端訓練/推論自己的資料，不需要上到雲端，確保資料安全性，更不用擔心模型被他人資料汙染的問題。目前已經在教育業、製造業、醫療業、法律業有應用案例。
針對AI趨勢，劉峻誠認為完整的系統應該是CPU+GPU+NPU，包括現在的AI PC、AI手機已經是這個架構，如果未來想要在低功耗的環境下導入生成式AI應用，NPU會是最佳幫手。
針對台灣AI人才的養成，劉峻誠是認為可以從兩個層面來補足人才缺口，第一個是教育，耐能有推出AI教科書，有科大版、國中版甚至是國小版。第二個就是直接在產業裡面導入AI技術，以耐能為例，很早就在IC設計當中的back end、routing導入AI技術，所以才能用12奈米製程量產晶片。
點擊閱讀下一則新聞
