Q4– tag –

これ、LLM-jpでも変な名前なんです。 LLM-jpはV3からV3.1そして最近V4になりました。 8x13B ≠ 104Bを毎token計算 8個のexpert全部を毎回動かすわけではありません。 8 expert中 2 expertだけをactivateするため、 重み全体：約73B 1 tokenあたりのactivate...

このサイズを量子化すると非力なWindowsで普通に動くんじゃないかと思いやってみました。 ダウンロード Q4とQ5 悪くないけど、なぜかQ4の方が良さげなOutputをするときがあります。

国立情報学研究所（NII）が公開したLLM-jp-4 33Bを対象に、GGUF量子化におけるメモリ帯域のボトルネックと実用推論の境界線を徹底検証する。

Qwen 27Bモデルを対象にQ4_K_MおよびIQ4_NLでGGUF量子化を実施。ファイルサイズ、メモリ帯域、非力マシンでの実用性を徹底検証。

Muse Glimmer 30BモデルのGGUF量子化（Q4 / IQ4）を実施。生成崩れを防ぐためのパラメータ調整と検証ログを公開。