跑 AI 一定要 NVIDIA 顯示卡嗎？
這個說法為什麼聽起來合理？
Section titled “這個說法為什麼聽起來合理？”許多模型的訓練程式、研究專案與部署工具優先支援 NVIDIA CUDA。當你要訓練大型模型、使用某個只支援 CUDA 的專案，或追求特定伺服器規模的效能時，NVIDIA 可能是最直接的選擇。
CUDA 是什麼？
Section titled “CUDA 是什麼？”CUDA 是 NVIDIA 在 2006 年推出的平行運算平台與程式模型，讓軟體把適合大量平行處理的工作交給支援的 NVIDIA GPU。它涵蓋程式介面、編譯工具、函式庫與執行所需的軟體元件，不等同於顯示卡規格表上的「CUDA 核心數」。
多數 Local AI 使用者不會自己撰寫 CUDA 程式，而是使用已支援 CUDA 的 PyTorch、模型 Runtime 或應用程式。當某個專案寫著「需要 CUDA」，通常表示它提供的安裝套件或運算後端依賴 CUDA 軟體堆疊；模型能否透過其他 Runtime 在不同硬體上執行，仍要另外確認。
但這不能推導成「沒有 NVIDIA 就不能跑任何 AI」。
「跑 AI」可能是完全不同的事
Section titled “「跑 AI」可能是完全不同的事”- 在 CPU 上執行小型分類或語音模型。
- 在 Apple silicon GPU 上透過 Metal、MLX 或其他框架執行模型。
- 在 AMD GPU 上使用 ROCm、HIP 或 Vulkan 相容的工具。
- 用 NPU 執行框架已支援的低功耗模型。
- 用專用加速器、手機晶片或瀏覽器執行小型模型。
例如 llama.cpp 官方列出的後端就包含 CPU、Metal、CUDA、HIP 與 Vulkan。支援哪些模型與功能，仍要回到你使用的版本與平台確認。
購買硬體前怎麼判斷？
Section titled “購買硬體前怎麼判斷？”先找出完整組合，而不是只挑品牌：
任務 → 模型 → 模型格式 → Runtime → 硬體後端 → 實際測試其中模型格式與 Runtime 會共同決定軟體能否載入模型，以及可以使用哪一種硬體後端。
如果必要工具只支援 CUDA，NVIDIA 就可能是必要條件；如果目標是在 Mac 上摘要文字、語音轉文字或執行支援 Metal 的量化 LLM，就不一定需要 NVIDIA GPU。
你真正要問的問題
Section titled “你真正要問的問題”- 我要做推論、微調，還是完整訓練？
- 指定的模型與 Runtime 支援哪些後端？
- 記憶體或 VRAM 是否放得下模型與執行開銷？
- 品質、速度、功耗與預算要達到什麼標準？
- 有沒有相同組合的實測可以重現？
閱讀跑 Local AI 需要什麼硬體？，再依任務選設備。
閱讀後自我確認
Section titled “閱讀後自我確認”試著回答以下問題，來確認是否已學會。不確定答案的話，再回到對應段落複習。打勾狀態是方便你在這個頁面一一確認用，不會被儲存。