無料– tag –

これ、LLM-jpでも変な名前なんです。 LLM-jpはV3からV3.1そして最近V4になりました。 8x13B ≠ 104Bを毎token計算 8個のexpert全部を毎回動かすわけではありません。 8 expert中 2 expertだけをactivateするため、 重み全体：約73B 1 tokenあたりのactivate...

このサイズを量子化すると非力なWindowsで普通に動くんじゃないかと思いやってみました。 ダウンロード Q4とQ5 悪くないけど、なぜかQ4の方が良さげなOutputをするときがあります。

Qwen 27Bモデルを対象にQ4_K_MおよびIQ4_NLでGGUF量子化を実施。ファイルサイズ、メモリ帯域、非力マシンでの実用性を徹底検証。