跳到內容

從 Hugging Face 下載模型

這篇會使用終端機指令,從 Hugging Face 直接下載一個指定的模型檔案。

上一篇〈先用 Hugging Face 預估模型跑不跑得動〉用 8 GB MacBook Neo 示範容量篩選。這篇延續同一個候選版本:

項目 內容
Repo ID unsloth/gemma-4-E4B-it-GGUF
完整檔名 gemma-4-E4B-it-Q4_K_M.gguf
頁面顯示的檔案大小 約 4.98 GB
模型格式 GGUF

Repo 是一個儲存庫,裡面可以有很多檔案。這個 repo 目前合計約 126 GB,其中包含多種量化版本、BF16、設定檔與其他輔助檔案;本次只需要表格中的一個 GGUF 檔案。

模型檔約為 4.98 GB,下載過程與後續使用還需要額外空間。開始以前,請到「系統設定」→「一般」→「儲存空間」確認可用容量;相關觀念可參考〈確認模型需要的儲存空間〉

如果你已在 Hugging Face 頁面改選其他版本,後續指令也要把檔名換成你實際選定的完整名稱。

Hugging Face 的命令列工具叫做 hf。在已經安裝 Homebrew 的 Mac 上,可以執行:

Terminal window
brew install hf

安裝完成後確認指令可以使用:

Terminal window
hf version
hf download --help

如果你的 Mac 沒有 Homebrew,可以改用 Hugging Face 官方 CLI 安裝說明提供的 standalone installer。請從官方文件複製當下的安裝指令,不要從來源不明的網頁下載同名工具。

這次示範的 repo 是公開內容,不登入也能下載。如果要確認目前是否已登入,可以執行:

Terminal window
hf auth whoami

需要登入時,執行:

Terminal window
hf auth login

目前的 hf auth login 預設會提供網址與短碼,讓你在瀏覽器授權,再把登入資訊保存在這台電腦。需要接受條款的 Gated Model,仍要先到模型頁完成申請或同意程序;登入 CLI 不會自動替你接受模型授權。

在真正傳輸數 GB 的檔案以前,先加入 --dry-run

Terminal window
hf download \
unsloth/gemma-4-E4B-it-GGUF \
gemma-4-E4B-it-Q4_K_M.gguf \
--dry-run

輸出應該只列出一個約 4.98 GB 的 GGUF 檔案。若看到許多量化版本或總量接近整個 repo,請先停止,重新核對 repo ID 與完整檔名。

--dry-run 不會下載模型,適合拿來確認選擇範圍、預估大小,以及檔案是否已經存在本機。

以下指令會把檔案放到個人目錄裡的 Models/gemma-4-E4B-it-GGUF

Terminal window
hf download \
unsloth/gemma-4-E4B-it-GGUF \
gemma-4-E4B-it-Q4_K_M.gguf \
--local-dir ~/Models/gemma-4-E4B-it-GGUF

下載完成後,hf 會在最後一行印出本機路徑。你也可以自行確認檔案:

Terminal window
ls -lh ~/Models/gemma-4-E4B-it-GGUF/gemma-4-E4B-it-Q4_K_M.gguf

使用 --local-dir 時,Hugging Face 還會在指定資料夾內建立 .cache/huggingface/,保存下載用的 metadata。它可以協助下次執行相同指令時只取得有變動的內容;模型本身則是你看得到的 .gguf 檔案。

需要重現相同版本時,固定 revision

Section titled “需要重現相同版本時,固定 revision”

前面的指令會從 repo 的 main 分支取得當下版本。發布者日後可能更新同名檔案;要讓課程、測試或工作流程重現完全相同的 repo 狀態,可以在 Hugging Face 的 History 找到完整 commit hash,再加上 --revision

例如,這個 repo 在 2026 年 7 月 17 日的一個完整 commit hash 是 bfc15c382204943c3a8fff0c750b94ae2364d7a3

Terminal window
hf download \
unsloth/gemma-4-E4B-it-GGUF \
gemma-4-E4B-it-Q4_K_M.gguf \
--revision bfc15c382204943c3a8fff0c750b94ae2364d7a3 \
--local-dir ~/Models/gemma-4-E4B-it-GGUF

Hugging Face 要求 commit hash 使用完整長度。一般自己試用模型時,不一定需要固定 revision;需要讓別人重現相同下載結果時,才特別值得記錄。

現在取得的是一個 GGUF 模型檔案。下一步仍要選擇支援 Gemma 4 與 GGUF 的 Runtime,載入檔案,再實際檢查記憶體占用、速度與輸出結果。

Gemma 4 還具備圖片與音訊輸入能力;只下載這一個 GGUF 檔案,不保證 Runtime 已經具備所有多模態輸入所需的其他檔案與功能。第一次練習可以先把「下載」與「執行」分成兩個階段,避免把下載成功誤認成模型已經可以完整使用。

試著回答以下問題,來確認是否已學會。不確定答案的話,再回到對應段落複習。打勾狀態是方便你在這個頁面一一確認用,不會被儲存。

閱讀後自我確認