含標籤 local-llm
在 32GB 筆電上跑 744B 參數，然後叫作者不要修那個 bug
colibri 號稱 25GB 記憶體就能跑 GLM-5.2 的 744B 參數。我在 M1 Max 上真的跑起來了，一個字 7 秒。過程中挖到三件跟直覺相反的事，其中一件讓我發給上游的內容不是「請修這個 bug」，而是「拜託不要修」。
colibri 號稱 25GB 記憶體就能跑 GLM-5.2 的 744B 參數。我在 M1 Max 上真的跑起來了，一個字 7 秒。過程中挖到三件跟直覺相反的事，其中一件讓我發給上游的內容不是「請修這個 bug」，而是「拜託不要修」。