新電子 [第459期]:邊緣GAI成真

點閱:1

並列題名:Micro-electronics

作者:新電子編輯部編

出版年:2024.06

出版社:城邦文化

出版地:臺北市

最新發刊 : 2024-06-01

雜誌類型 : 月刊



雜誌簡介: 新電子科技雜誌於1986年創刊,以台灣資訊電子上下游產業的訊息橋樑自居,提供國際與國內電子產業重點資訊,以利產業界人士掌握自有競爭力。雜誌內容徹底執行各專欄內容品質,透過讀者回函瞭解讀者意見,調整方向以專業豐富的內容建立特色;定期舉辦研討會、座談會、透過產業廠商的參與度,樹立專業形象;透過網際網路豐富資訊的提供,資訊擴及華人世界。更多資訊請參考:http://www.mem.com.tw

本期內容簡介

邊緣GAI成真

生成式人工智慧(AI)技術及大型語言模型(LLM)逐步往終端應用拓展,然而在邊緣端導入生成式AI技術,需要克服硬體效能、模型參數量及功耗帶來的挑戰。大型AI模型的訓練與推論仰賴大量的參數,以得出精準的結果。然而終端裝置的記憶體容量、處理器效能及能源有限。因此針對生成式AI在邊緣端應用的處理器設計,必須考量產品在效能、可處理的參數量及功耗方面,如何取得最佳平衡。

面對快速成長的邊緣AI應用市場,廠商推出的AI加速器、異質運算平台或MCU解決方案,持續為生成式AI走向終端鋪路。在終端設備資源有限的前提下,LLM需要透過量化(Quantization)等方式壓縮模型,並且確保推論維持一定的精準度。同時處理器廠商在CPU中導入AI引擎,也透過整合CPU、GPU與神經處理單元(NPU),提高AI裝置的效能,並且降低功耗。AI PC與AI手機陸續問世,也受到市場高度關注。
雜誌簡介
 
新電子科技雜誌於1986年創刊,以台灣資訊電子上下游產業的訊息橋樑自居,提供國際與國內電子產業重點資訊,以利產業界人士掌握自有競爭力。雜誌內容徹底執行各專欄內容品質,透過讀者回函瞭解讀者意見,調整方向以專業豐富的內容建立特色;定期舉辦研討會、座談會、透過產業廠商的參與度,樹立專業形象;透過網際網路豐富資訊的提供,資訊擴及華人世界。更多資訊請參考:http://www.mem.com.tw
  • 編者的話(p.11)
  • 技術紮馬步 揪出晶片漏電流真因 TEM破解電路差排軌跡(p.25)
  • 特別報導 Edge AI創新應用開發者大會特別報導(p.35)