含標籤 apple-silicon
在 32GB 筆電上跑 744B 參數，然後叫作者不要修那個 bug
colibri 號稱 25GB 記憶體就能跑 GLM-5.2 的 744B 參數。我在 M1 Max 上真的跑起來了，一個字 7 秒。過程中挖到三件跟直覺相反的事，其中一件讓我發給上游的內容不是「請修這個 bug」，而是「拜託不要修」。
Paper 說支援 ARM，我大概是第一個真的去編譯的人
微軟發了號稱 CPU 就能即時聽寫的 VibeVoice-ASR-BitNet，論文寫 targeting both ARM and x86。我在 M1 Max 上實測，從編譯失敗一路 debug 到 NaN 指紋，挖出三個上游 bug。這篇講整個偵探過程，以及 model card 的數字該怎麼讀。