跳到內容
LIKit

Apple 開發者 AI 工具與 API

高級更新日期：

Apple 為開發者提供兩類 AI 能力：一類協助開發者寫程式、操作專案或製作腳本；另一類則讓原生 App 呼叫系統提供的 AI 功能。

如果目標是執行自己下載、訓練或轉換的模型，請接著閱讀〈Apple AI 與 ML 框架〉。至於 Apple silicon 是否應該優先選擇 MLX，可以參考常見誤解〈Apple silicon 跑 AI，一定要用 MLX 嗎？〉。

開發者可以使用的 AI 開發工具

Section titled “開發者可以使用的 AI 開發工具”

以下工具的使用者是開發者本人。它們協助撰寫程式碼、操作專案或從命令列呼叫模型，不是提供給 App 終端使用者的 API。

  • Predictive Code Completion：Xcode 16 開始提供較完整的預測式程式碼補全。它使用針對 Swift 與 Apple SDK 訓練的裝置端模型，根據周圍程式碼建議整段敘述或方法，再由開發者決定是否接受。它的功能範圍比對話式 coding assistant 或 coding agent 窄得多。
  • Coding Intelligence 與 coding assistant：Xcode 26 加入以自然語言解釋、撰寫與修改程式碼的 coding assistant。開發者可以使用 OpenAI 的 ChatGPT、Anthropic 的模型、其他相容服務，或自行設定本機模型；實際是在本機還是雲端運算，取決於選用的模型供應者。
  • Agentic Coding：Xcode 26.3 首次整合 Anthropic Claude Agent 與 OpenAI Codex，讓 coding agent 使用 Xcode 的文件搜尋、專案編輯、建置與測試等能力，也能透過 Model Context Protocol（MCP）把 Xcode 能力提供給其他相容工具。WWDC26 發表的 Xcode 27 再擴充 agent 工作區、規劃模式、內建 skills，以及同時進行多個 agent 對話與協作的能力。詳見 WWDC26: Xcode, agents, and you。
  • fm 命令列工具：macOS 27 預先安裝，打開「終端機」即可使用，不必先寫一個 App。它適合熟悉命令列的開發者或進階使用者，可從指令或腳本使用裝置端 Apple Foundation Model，也能明確選擇 PCC 模型。詳見 WWDC26: Build AI-powered scripts with the fm CLI and Python SDK。

開發者可以呼叫的系統框架

Section titled “開發者可以呼叫的系統框架”

另一類能力是 Apple 已經整合進平台的系統框架，主要讓使用 Swift 或 Objective-C 等語言撰寫的 Apple 平台原生 App 呼叫。不同框架支援的程式語言與系統版本並不完全相同；例如 Foundation Models 是原生 Swift API。使用前要查看個別 API 文件，而不是假設所有 Apple 框架都能用同一種方式整合。

依照 Apple 目前的 Apple Intelligence 與機器學習總覽及 Built-in intelligence，與原生 Mac App 直接相關的框架可以分成四類：使用系統已訓練模型的內容分析、Apple Intelligence 生成能力、讓 Siri 與系統找到 App 能力的整合框架，以及執行 App 自備模型的底層框架。

類型 Framework App 可以取得的能力 最早推出 最低 macOS
自備模型執行 Core AI 把 App 自己準備的 .aimodel 部署到 Apple silicon，並控制模型特化、快取與推論；目前仍是 beta 技術。 2026 27
系統語言模型 Foundation Models 使用 Apple Foundation Models 進行文字生成、結構化輸出與工具呼叫；macOS 27 再擴充圖片輸入、PCC 與其他模型供應者。 2025 26
翻譯 Translation 顯示系統翻譯介面，或在 App 內建立批次與自訂翻譯流程；文字翻譯在裝置端完成。 2024 15
影像生成 Image Playground 呈現系統影像生成介面，讓 App 提供文字或圖片作為起始內容，再取得使用者選定的結果。 2024 15.1
敏感內容偵測 Sensitive Content Analysis 配合使用者的「敏感內容警告」設定，分析圖片或影片並讓 App 提供遮蔽與介入介面；需要 entitlement。 2023 14
Siri 與系統整合 App Intents 用 Intent 與 Entity 描述 App 的動作和內容，供 Siri、捷徑、Spotlight、Widget 與 Apple Intelligence 發現和呼叫。 2022 13
聲音比對 ShazamKit 把擷取到的聲音和 Shazam 曲庫或 App 自訂的聲音指紋庫比對；它做的是精確比對，不是環境聲音分類。 2021 12
影像分析介面 VisionKit 在 App 中加入 Live Text、影像文字互動與系統提供的掃描介面；Mac 上的主要 API 從 macOS 13 開始。 2019 13
聲音分類 Sound Analysis 從音訊檔或即時串流辨識環境聲音，也能搭配自訂 Core ML 聲音分類模型。 2019 10.15
文字分析 Natural Language 語言辨識、斷詞、詞性與實體標註、詞形還原、情緒與文字向量等自然語言分析。 2018 10.14
圖片與影片分析 Vision 文字辨識、條碼、物件與影像分類、臉部與身體姿勢、追蹤等分析。 2017 10.13
自備模型執行 Core ML 把 App 自己準備的傳統機器學習或神經網路模型部署到 CPU、GPU 與 Neural Engine。 2017 10.13
語音轉文字 Speech 辨識即時或預錄語音並取得逐字稿；是否支援完全裝置端處理仍要依 API、語言與系統版本確認。 2016 10.15
舊一代 Siri 整合 SiriKit／Intents 把訊息、付款、運動與媒體等既定領域的 App 功能提供給 Siri；新的自訂整合通常應先研究 App Intents。 2016 11
系統搜尋與索引 Core Spotlight 索引並搜尋 App 內容；macOS 15 開始加入語意搜尋，較新的 Foundation Models 也能把 App 的索引作為工具。 2015 10.13

前面的內容分析與生成框架提供的是「已經可以呼叫的能力」；Core ML 與 Core AI 則不同。它們是 模型執行與部署框架，不會在匯入 Framework 後自動提供 OCR、語音辨識或文字生成模型。App 必須自行準備相容模型，細節會在下一篇 〈Apple AI 與 ML 框架〉繼續說明。

這些框架替開發者處理許多模型與系統整合工作，但不代表每一台 Mac、每一種語言或每一個系統版本都有相同能力。Image Playground 與裝置端 Apple Foundation Model 還需要支援 Apple Intelligence 的 Mac；其他框架也可能有權限、entitlement、模型下載或硬體條件。選擇框架以前，先從 App 要支援的最低 macOS 版本反推可用 API，接著在程式中檢查模型與功能 availability，並準備不支援時的替代流程。

閱讀後自我確認

Section titled “閱讀後自我確認”

試著回答以下問題，來確認是否已學會。不確定答案的話，再回到對應段落複習。打勾狀態是方便你在這個頁面一一確認用，不會被儲存。

閱讀後自我確認

參考資料

Section titled “參考資料”