跳到內容

Unified Memory(統一記憶體)

在 Apple silicon Mac 上,規格中的 16 GB、24 GB、32 GB 或更大容量,不是另外分成一份系統 RAM 和一份獨立顯示卡 VRAM;CPU、GPU 等運算單元會共同使用這個空間。

這種設計也出現在其他平台。例如 NVIDIA DGX Spark 配有 128 GB unified system memory;AMD Ryzen AI Max(代號 Strix Halo)最高提供 128 GB unified memory,並可讓其中最多 96 GB 供圖形處理使用。

共享記憶體可以減少 CPU 與 GPU 之間複製資料的需求,也讓 GPU 有機會使用比一般獨立顯示卡更大的系統記憶體池。

但「統一記憶體」描述的是架構方向,不代表不同廠商的實作完全相同。可用容量、記憶體頻寬、CPU/GPU 存取方式、保留給圖形的比例、作業系統與軟體支援都可能不同。

在 Mac 上,容量仍要同時提供 macOS、一般應用程式、模型權重、KV Cache 與 Runtime 暫存使用。

挑選本地模型時,統一記憶體通常是第一個容量指標。Apple 把這套架構一致地用在 Apple silicon Mac 產品線上,因此 Mac 使用者特別常接觸到這個詞;但它不是 Apple 才有的技術概念。

模型檔案接近標示容量時,實際載入很可能仍不安全,因為作業系統與推論開銷也需要空間。

如果要進一步判斷 Mac 的記憶體容量、記憶體頻寬,以及它們對模型載入與推論速度的影響,可以繼續閱讀〈看懂統一記憶體與記憶體頻寬〉

「24 GB Mac 可以完整拿 24 GB 載入權重。」 不行。可用空間會受到系統與其他 process 影響。

「統一記憶體比較大,任何模型都一定跑得快。」 容量回答的是能否容納;速度還會受記憶體頻寬、晶片、模型架構與 Runtime 影響。

「不同機器都寫 128 GB unified memory,所以能跑的東西與速度相同。」 不一定。記憶體只是整套系統的一部分,還要看加速器、頻寬、軟體後端與可用容量。

模型權重 · KV Cache · Context Window