名詞庫
不需要先背完所有術語。當你在模型頁、工具介面或教學裡遇到陌生名詞,再回來查就好。
每個名詞頁都會回答:它是什麼、為什麼重要、最容易和什麼混淆,以及在 Mac 上實作 Local AI 時會在哪裡遇到它。
先建立整體概念
Section titled “先建立整體概念”- Local AI、On-device AI、本地端與裝置端:這些位置相關的詞有什麼差別。
- LLM:大型語言模型是什麼,又不是什麼。
- 推論(Inference):把已訓練完成的模型拿來產生結果。
- Runtime:真正負責載入與執行模型的軟體層。
看懂模型資訊
Section titled “看懂模型資訊”- 模型權重(Model Weights):下載模型時,檔案裡最主要的內容。
- 參數(Parameters):模型規模裡的 B 代表什麼。
- 量化(Quantization):為什麼同一個模型有許多較小版本。
- GGUF:常見的本地模型檔案格式。
- Metal:Apple 的低階圖形與 GPU 運算框架,也是 Mac Local AI 工具常見的硬體後端。
- MLX:Apple silicon 上常見的機器學習框架。
判斷記憶體需求
Section titled “判斷記憶體需求”- 統一記憶體(Unified Memory):CPU、GPU 共用記憶體的架構,並非 Apple 獨有。
- Token:模型讀寫文字時使用的基本單位。
- Context Window:模型一次能處理多少上下文。
- 預輸入(Prefill):模型開始逐 Token 生成前,如何先處理完整輸入。
- Decode(生成):模型處理完輸入後,如何逐步產生新的 Token。
- KV Cache:長對話為什麼會繼續占用記憶體。
看懂硬體效能指標
Section titled “看懂硬體效能指標”認識常見任務
Section titled “認識常見任務”- ASR:把語音轉成文字。
- VLM:讓模型同時理解圖片與文字。
- PII:姓名、電話、Email 等可識別個人的資訊。
- RAG:先找出相關資料,再交給語言模型回答。
名詞庫會持續增加,但每一頁都要能獨立閱讀與分享;教學文章第一次提到術語時,也會連回這裡。