Q5– tag –

これ、LLM-jpでも変な名前なんです。 LLM-jpはV3からV3.1そして最近V4になりました。 8x13B ≠ 104Bを毎token計算 8個のexpert全部を毎回動かすわけではありません。 8 expert中 2 expertだけをactivateするため、 重み全体：約73B 1 tokenあたりのactivate...