跳到內容

模型名稱中的 B、b 與 GB 分別代表什麼?

模型名稱與下載頁經常同時出現 8B4-bit4 GB。三種寫法都在談大小,實際衡量的對象不同。

模型名稱中的 B 通常是 billion(十億) 的縮寫。8B 表示模型大約有 80 億個參數,27B 則表示大約 270 億個參數。

參數量描述模型規模。它能協助估算需要保存多少數值,但還沒有告訴你每個數值用什麼精度保存。

小寫 b 或 bit:每個數值怎麼保存

Section titled “小寫 b 或 bit:每個數值怎麼保存”

4-bit8-bit 裡的 bit 是位元,用來描述數值精度或量化方式。相同參數量的模型,使用 4-bit 權重通常會比 8-bit 或 BF16 版本小。

因此,8B 4-bit 可以同時成立:前者說模型有多少參數,後者說這個版本如何表示參數數值。

GB 的 B 是 byte(位元組)。1 byte 等於 8 bits;模型頁旁邊的 4.8 GB 通常是在說下載檔案大小,硬體規格中的 16 GB 則是在說記憶體容量。

8B × 4 bit ÷ 8 粗略計算,單純權重約占 4 GB。實際檔案還會包含 metadata,部分權重也可能使用不同精度;執行時另有 Runtime、KV Cache 與其他暫存。這個算式適合初步估算,最後仍以下載頁的檔案大小與實際載入為準。Mac 的容量判斷可接著閱讀看懂統一記憶體與記憶體頻寬

有些模型家族會加入自己的命名規則。Gemma 4 的 E4B 中,E 表示 effective parameters;Google 的模型卡同時列出有效參數量與總參數量。這裡的 4B 仍在描述參數規模,與 4-bit 量化精度無關。

遇到這類名稱時,先到模型卡確認廠商如何定義。本站的 Gemma 4 官方模型卡指南會進一步拆解 E4B。

試著回答以下問題,來確認是否已學會。不確定答案的話,再回到對應段落複習。打勾狀態是方便你在這個頁面一一確認用,不會被儲存。

閱讀後自我確認