Apple AI 與 ML 框架
如果想執行自己下載、訓練或轉換的模型,就不再只是使用 macOS 已經提供的功能,而是要選擇模型格式、Runtime 與部署工具。
如果目標是直接使用系統現成能力,可以先讀〈Mac 內建哪些 AI 能力?〉;如果要讓原生 App 呼叫 Apple 提供的 AI 功能,則可先讀〈Apple 開發者 AI 工具與 API〉。這篇集中在第三種情況:執行自己選擇的模型。
執行自己選擇的模型
Section titled “執行自己選擇的模型”Apple 提供的框架各自處理不同層次的模型工作:
- Core ML 是 Apple 平台長期使用的機器學習框架,可把模型整合進 App,並使用 CPU、GPU 與 Neural Engine 執行。
- Core AI 面向較新的生成式與大型模型工作流程,可將模型轉成
.aimodel,再於 Apple 裝置上部署與執行。 - MLX 是 Apple machine learning research 推出的開源機器學習陣列框架,針對 Apple silicon 設計;它不是 macOS 內建 App,也不是安裝好系統就能直接使用的使用者功能。原始碼與安裝方式可參考 MLX 官方 GitHub。
選擇框架時,不要只問哪一個「最原生」。你還需要確認模型是否已有相容格式、要整合進原生 App 還是只在本機實驗、目標硬體與最低系統版本,以及現有工具是否已經提供合適的 Runtime。
如果你因為使用 Apple silicon Mac,就直覺認為應該選擇 MLX,可以先讀〈Apple silicon 跑 AI,一定要用 MLX 嗎?〉,再依模型支援與部署需求比較各條路線。
使用第三方工具
Section titled “使用第三方工具”LM Studio 與 Ollama 等第三方工具也能在 Mac 上執行模型,但它們不屬於 Apple 的內建能力。這類工具的價值在於模型管理、操作介面或 API;底層實際使用哪些 Runtime 與硬體加速方式,仍要逐一確認。
近年許多第三方工具都在增加對 Apple silicon 的支援,有些也進一步採用 MLX。例如 LM Studio 在 Apple silicon 上可以使用 llama.cpp 或 MLX Runtime;Ollama 的一般 macOS 執行路線內建 Metal 支援,專案也提供可選的 MLX engine 建置方式。這些支援會隨工具版本與模型格式持續變化,實際使用前仍應查看最新文件。
如果只是想用圖形介面下載並初次執行開放權重模型,可以先從 LM Studio 開始;如果要把模型整合進 App 或建立服務,再依部署方式研究 Core ML、Core AI、MLX 或其他 Runtime。
閱讀後自我確認
Section titled “閱讀後自我確認”試著回答以下問題,來確認是否已學會。不確定答案的話,再回到對應段落複習。打勾狀態是方便你在這個頁面一一確認用,不會被儲存。