能跑 Local LLM，就能跑 Local Agent 嗎？

進階更新日期：2026/08/25二

Agent 多了哪些東西？

常見的 Agent harness 會把模型包進這樣的流程：

讀取目標
  ↓
決定下一步
  ↓
呼叫搜尋、檔案、程式或 API 等工具
  ↓
讀取結果並保存狀態
  ↓
重複執行，直到完成或停止

因此，實際體驗還會受到模型的工具使用能力、Context Window、推論速度、記憶體、工具權限、逾時、錯誤恢復與停止條件影響。一次回答得不錯，不代表它能長時間可靠地完成多步驟任務。

本地模型不代表整套 Agent 都在本地

Agent 可能使用本地 LLM，卻仍然：

呼叫網路搜尋或雲端 API。
把資料交給遠端瀏覽器、資料庫或觀測服務。
將提示詞、工具結果或紀錄寫入磁碟。
執行具有檔案、Shell 或應用程式權限的工具。

以 Pi coding agent 為例，它預設提供 read、write、edit 與 bash 工具，也可以透過自訂 provider 連接 Ollama、LM Studio 或 vLLM 等本地服務。即使模型在本地推論，Pi 仍可能讀寫檔案或執行 Shell 指令。模型在哪裡推論，和工具能對電腦做什麼，是兩個要分開檢查的問題。

怎樣才算跑得動實用的 Local Agent？

「跑得動」可以只表示 Agent 成功啟動，也可以表示它已經能持續完成實際工作。本篇標題所說的「實用」，需要進一步判斷三件事：

執行效率：模型的回應速度、Context 與記憶體，能否支撐多個步驟與多次工具呼叫？
任務可靠性：模型能否正確選擇工具、讀懂結果，並在工具失敗時停止或修正？
資料與權限邊界：哪些元件真的在本地、哪些資料會離開電腦，以及 Agent 能讀寫哪些檔案或執行哪些動作？

一台電腦能快速執行 LLM，仍可能受限於模型的工具使用能力或 Agent harness 的設計。反過來說，能完成一次示範，也還不足以證明它能可靠地處理日常工作。

閱讀後自我確認

試著回答以下問題，來確認是否已學會。不確定答案的話，再回到對應段落複習。打勾狀態是方便你在這個頁面一一確認用，不會被儲存。

一台電腦能執行 Local LLM，為什麼還不能直接推論它能可靠地執行 Local Agent？
使用本地模型時，為什麼整套 Agent 仍可能連線、留下資料或取得電腦權限？
判斷 Local Agent 是否實用時，需要檢查哪三個面向？