跳到內容

Unsloth

團隊維護 Python framework、Unsloth Studio、教學 Notebook,也在 Hugging Face 發布轉換與量化後的模型版本。

搜尋 LoRA、QLoRA、SFT 或模型微調教學時,常會看到 Unsloth 提供的 Colab/Kaggle Notebook、Python 套件與已整理的模型檔案。它也能將結果匯出成 GGUF,或交給 Ollama、vLLM 與 Hugging Face 等工具使用。

Unsloth 涵蓋載入、訓練、微調、強化學習與匯出模型,可用於本機或自己控制的運算環境。第一次在 Mac 上執行量化模型時,LM Studio 或 Ollama 通常更接近當下需求。

開始訓練或匯出以前,先用目前的安裝文件與對應 Notebook 核對 GPU、Mac、模型架構及輸出格式的支援狀態。

unsloth/... 是 Unsloth 團隊在 Hugging Face 發布或轉換的模型儲存庫。它可能沿用其他團隊的原始 checkpoint;模型卡與 Model tree 會列出來源、量化、授權與用途。

unsloth/gemma-4-E4B-it-GGUF 為例,Hugging Face 的 Model tree 顯示,它來自 Google 的 google/gemma-4-E4B-it,再由 Unsloth 轉換、量化並發布成多種 GGUF 檔案。

這些發行版本的價值,在於替不同 Runtime 與硬體容量準備較容易下載及執行的檔案;但它們仍然是衍生版本,不應省略原始 checkpoint、轉換者與量化方法的核對。

想實際看懂這些版本,可以接著閱讀: