IQ4– tag –
-
IT/AIコンサルタント![[日本LLM] LLM-jp-4 33B 国立情報学研究所 量子化のイメージ](data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==)
[日本LLM] LLM-jp-4 33Bモデルの構造解析とローカル量子化の実践
国立情報学研究所(NII)が公開したLLM-jp-4 33Bを対象に、GGUF量子化におけるメモリ帯域のボトルネックと実用推論の境界線を徹底検証する。 -
IT/AIコンサルタント
[中華LLM] Qwen 27B 量子化検証(Q4 & IQ4)とメモリ帯域の考察
Qwen 27Bモデルを対象にQ4_K_MおよびIQ4_NLでGGUF量子化を実施。ファイルサイズ、メモリ帯域、非力マシンでの実用性を徹底検証。 -
IT/AIコンサルタント
Muse Glimmer 30B 量子化検証:ファイル構造とローカル実行のインプレッション
Muse Glimmer 30BモデルのGGUF量子化(Q4 / IQ4)を実施。生成崩れを防ぐためのパラメータ調整と検証ログを公開。
1

![[日本LLM] LLM-jp-4 33B 国立情報学研究所 量子化のイメージ](https://saratna.com/wp-content/uploads/llm-llm-jp-4-33b-featured.webp)

