跳到內容

Apple silicon 跑 AI,一定要用 MLX 嗎?

MLX 是 Apple 為機器學習研究設計的陣列框架,針對 Apple silicon,並利用其統一記憶體架構。MLX-LM、MLX-VLM 等工具也讓許多文字與 VLM(視覺語言模型)更容易在 Mac 上執行。

如果你要使用的模型已有可靠的 MLX 版本與工具支援,MLX 當然很值得先測。

「Apple silicon 跑 AI 是否應該使用 MLX」主要是第三層的選擇問題。前兩層往往已由系統功能或 API 決定執行方式,使用者不需要自己挑選 MLX。

  • llama.cpp/GGUF: 在 macOS 可使用 Metal,也能在許多其他平台執行。
  • Core ML: 適合整合進 Apple 平台 App,實際可用的運算單元依模型轉換與系統支援而定。
  • Core AI: 從 macOS 27 開始,App 開發者可以使用 Apple 新的 Core AI framework,將自行選擇的模型轉換為 .aimodel,再透過 Swift API 載入與執行。Core AI 會依模型與裝置使用 CPU、GPU 或 Apple Neural Engine,並提供模型最佳化、編譯、除錯與效能分析工具;整合及執行 Core AI 模型需要 macOS 27 與 Xcode 27 以上版本。
  • Apple Foundation Models framework: 使用系統提供的裝置端模型與 API,目的和自行下載權重不同。
  • 其他專案自己的 Runtime: 語音、圖片生成或專用模型可能各有最成熟的執行工具。

MLX 偏向研究與模型實驗;Core AI 則提供把自選模型部署進 Apple 平台 App 的原生路徑。兩者服務的工作流程不同,仍要依使用目的選擇。

框架名稱不能取代相容性測試。同一模型在 MLX、Core AI 與 GGUF 路線上,可能有不同的量化、功能支援、速度與輸出差異。

依序確認:

  1. 必要模型與功能在哪個 Runtime 已被支援?
  2. 官方或可信發布者提供哪一種模型檔案?
  3. 你需要命令列、桌面介面,還是 App 內整合?
  4. Context Window、結構化輸出與多模態功能是否可用?
  5. 在你的 Mac 上,哪個組合通過品質、速度與記憶體測試?

選擇 MLX 應該是測試後的工程決定,不是因為硬體品牌而先下的結論。

試著回答以下問題,來確認是否已學會。不確定答案的話,再回到對應段落複習。打勾狀態是方便你在這個頁面一一確認用,不會被儲存。

閱讀後自我確認