常見誤解
Local AI 的討論涵蓋硬體、模型、工具、產品型態與資料安全。看似相近的說法,有時是混淆了兩個名詞,有時是把特定情況當成通則,也可能忽略了實際使用時的重要限制。
本區依問題類型整理這些常見誤解。每篇文章會採用適合該問題的方式說明,例如釐清名詞、比較硬體與工具、介紹其他可能的應用,或提醒資料與權限邊界。各篇都能獨立閱讀,可以直接從現在遇到的問題開始。
硬體與執行框架
Section titled “硬體與執行框架”- 跑 AI 一定要 NVIDIA 顯示卡嗎?:從任務、模型與軟體支援判斷 CUDA 是否真的是必要條件。
- 什麼是 AI PC?有 NPU,跑 AI 就比較快嗎?:分清楚 CPU、GPU、NPU 的用途,以及 TOPS 能告訴你的資訊。
- Apple silicon 跑 AI,一定要用 MLX 嗎?:比較 MLX、Core AI、Core ML、llama.cpp 與其他 Runtime 的定位。
- LLM 的 Prompt 處理速度與文字生成速度都是看 GPU 有多快嗎?:拆開 Prefill 與 Decode,分別判斷運算能力、記憶體頻寬、Context 與 Runtime 的影響。
Local AI、LLM 與 Agent
Section titled “Local AI、LLM 與 Agent”- Local AI 就是 Local LLM 嗎?:Local AI 還包括語音、視覺、推薦、生成與各種專用模型。
- Local LLM 只能用來聊天嗎?:從分類、抽取、翻譯與批次處理認識語言模型的其他用法。
- 能跑 Local LLM,就能跑 Local Agent 嗎?:Agent 還需要工具、狀態、權限、錯誤處理與足夠的模型能力。
- 離線就等於安全嗎?:分開檢查網路、儲存、權限與模型輸出造成的風險。
- 推論和推理有什麼不同?:區分 Inference、Training 與 Reasoning 描述的不同問題。
- 模型名稱中的 B、b 與 GB 分別代表什麼?:分清楚參數量、數值精度,以及檔案與記憶體容量。
這些文章可以獨立分享,也會從指南與名詞庫的相關段落連回來。