Local LLM 只能用來聊天嗎？

一句話

聊天只是 LLM 的一種介面與工作方式；不做聊天，也一樣可以使用 Local LLM。

模型和完整產品不是同一件事

一個可下載的 LLM，核心能力是接收文字 Token 並預測接下來的 Token。聊天產品則可能在模型之外加入：

• 對話介面與歷史紀錄
• 系統提示詞與安全規則
• 網路搜尋、檔案讀取與程式執行
• 記憶、帳號、同步與權限管理
• 多個模型或服務的路由

所以，即使兩邊都能問答，個人電腦上的量化模型和成熟的雲端聊天服務也不是同一個比較單位，例如 ChatGPT 還包含模型以外的產品功能。

不用聊天介面，LLM 還能做什麼？

LLM 不需要對話歷史才能工作。最簡單的用法，是由使用者或程式提供一份明確輸入與提示詞，讓模型產生一次結果，再交給人或下一段程式檢查。

工作方式	輸入與輸出的例子
整理與重組	把一篇沒有段落的筆記重新分段、補上小標題並列出重點，不增加原文沒有的內容。
摘要	把文章、逐字稿或會議紀錄縮成摘要、決策與待辦事項。
資訊抽取	從 Email、表單或文件找出姓名、日期、金額、關鍵問題與答案，再輸出成 JSON。
分類與路由	替意見回饋標記主題、意圖或優先順序，決定後續交給哪個流程或人工處理。
翻譯與改寫	把英文文件翻成繁體中文、調整語氣，或把散文改成條列與其他指定格式。
根據內容回答問題	提供一篇文章與幾個問題，要求模型只根據文章內容找出或整理答案。
比較與初步檢查	比較兩版文件的差異、找出可能矛盾之處，或標示值得人工複查的段落。
隱私資料初步標示	找出可能是姓名、Email、電話號碼或其他個人資料的文字位置，作為後續過濾與人工確認的候選。
協助程式工作	解釋一段程式、產生測試案例、改寫小型函式，或把固定格式轉成另一種格式。

這些工作都可以只有一次輸入與一次輸出。它們通常比「做一個什麼都能聊的助理」更容易準備測試資料、比較模型並檢查結果是否符合要求。

完整的應用分類與實作方向整理在 Local LLM 到底能做什麼？。

能執行 Local LLM，確實也可以把模型接進 Agent；實際上是否夠用，仍要看模型、執行速度與具體任務。下一篇將進一步說明能跑 Local LLM，就能跑 Local Agent 嗎？。

初學者更適合怎麼開始？

選一個輸入與輸出清楚的小任務，保留測試資料、模型版本、設定與結果。先證明這一步在本地做得好，再決定是否需要聊天介面、搜尋或其他工具。

閱讀後自我確認

試著回答以下問題，來確認是否已學會。不確定答案的話，再回到對應段落複習。打勾狀態是方便你在這個頁面一一確認用，不會被儲存。

閱讀後自我確認

• 為什麼 Local LLM 和完整的聊天產品不能直接視為同一件事？
• 不用聊天介面時，Local LLM 還可以完成哪些輸入與輸出清楚的工作？