LLM-JP 3 3.7B　量子化

このサイズを量子化すると非力なWindowsで普通に動くんじゃないかと思いやってみました。

ダウンロード

Q4とQ5

悪くないけど、なぜかQ4の方が良さげなOutputをするときがあります。