跳到內容

Local AI 就是 Local LLM 嗎?

  • Local 主要描述模型或 AI 工作流程在哪裡執行。
  • LLM 描述的是一類以語言為核心的大型模型。

因此,本地執行一個 LLM 是 Local AI;在 Mac 上執行語音辨識、OCR、圖片分類或物件偵測,也可以是 Local AI,即使完全沒有使用 LLM。

類型 例子
語音 ASR 語音轉文字、TTS 語音合成、語音活動偵測
視覺 OCR、圖片分類、物件偵測、去背
多模態 VLM 圖片問答、文件理解
搜尋與推薦 Embedding、相似度比對、分群
生成 圖片、音訊或影片生成
專用預測 異常偵測、時間序列或小型分類模型

有些任務使用較小、較專用的模型,反而比先把所有問題交給 LLM 更容易驗證,也更節省資源。

如果把 Local AI 直接理解成 Local LLM,很容易拿「能不能跑最大的語言模型」當成硬體的唯一標準,因而忽略自己的電腦早已能完成許多語音、視覺或資料處理任務。

從需求出發:你要辨識聲音、讀取圖片、產生文字,還是控制工具?任務不同,合適的模型與硬體也不同。

  • Local AI、On-device AI、本地端與裝置端
  • Local AI 到底能做什麼?
  • Local LLM 到底能做什麼?

試著回答以下問題,來確認是否已學會。不確定答案的話,再回到對應段落複習。打勾狀態是方便你在這個頁面一一確認用,不會被儲存。

閱讀後自我確認