株式会社サラトナでは、Alibaba Cloud（阿里雲）が開発した大規模言語モデル「Qwen3.6」の4Bパラメータモデルに対し、日本語特化のLoRA（Low-Rank Adaptation）微調整を施したモデルを開発中です。近日中に一般向けへ無料で公開する予定です。
Qwen3.6 4Bの概要と特徴
Qwen3.6は、Alibaba Cloudが2025年に公開した大規模言語モデル（LLM）の世代です。4Bパラメータモデルは、デスクトップPCやノートPCのGPU（VRAM 6GB程度）でも動作する軽量な設計でありながら、推論能力やコード生成、多言語対応において優れた性能を示します。
しかし、4Bという小規模なパラメータ数では、日本語の自然さ、敬語表現、ビジネス文書の品質面において調整の余地が存在します。そのため当社では、日本語に特化したLoRA微調整を実施し、実用性の向上に取り組んでいます。
LoRA微調整による強化項目
LoRA（Low-Rank Adaptation）は、大規模言語モデルの全パラメータを更新するのではなく、低ランク行列を追加学習させることで効率的にモデルの挙動を調整する手法です。フルファインチューニングと比較して、学習に必要なGPUメモリと計算コストを大幅に削減できるため、個人や中小企業でも実行可能です。
今回の日本語LoRA微調整では、以下の5つの能力を重点的に強化しています。
- 自然な日本語生成：機械的な翻訳調を排除し、日本語話者に馴染む自然な文章構成
- 校正・推敲能力：文法、語彙、表現の誤りを検出し、適切な修正案を提示
- 要約能力：長文から要点を正確に抽出し、簡潔に整理
- 敬体統一：ビジネス文書やメール作成における、です・ます調の一貫性保持
- 不確実性の適切な表現：「〜と考えられます」「〜の可能性があります」など、情報の確度に応じた適切な表現の使い分け
学習データと実行環境
学習に使用している日本語コーパスの主な構成は以下の通りです。
- ビジネスメールおよび文書の校正ペア（修正前・修正後）
- 日本語ニュース記事の要約データセット
- 敬語・丁寧語の変換ペア
- 専門用語を含む技術文書の説明文
- Q&A形式の対話データ（自然な応答パターン）
学習にはUnslothフレームワークを採用し、QLoRA（4bit量子化 + LoRA）を用いることで、RTX 4090単体（VRAM 24GB）での学習を完了しています。LoRAのランクはr=64、alpha=128に設定し、すべてのattention層に適用しています。
推論環境と動作要件
微調整済みモデルの動作要件は以下の通りです。
| 項目 | 最低要件 | 推奨要件 |
|---|---|---|
| GPU VRAM | 4GB（4bit量子化時） | 8GB以上 |
| RAM | 8GB | 16GB以上 |
| ストレージ | 5GB | 10GB以上 |
| OS | Windows 10/11, macOS, Linux | Linux推奨 |
| 推論フレームワーク | llama.cpp, Ollama, vLLM | vLLM or Ollama |
Apple Silicon（M1/M2/M3/M4）を搭載したMacにおいても、Metal APIを介したGPU推論が可能です。Ollamaを利用すれば、コマンドラインからモデルをダウンロードして即座に実行できます。
公開形式とライセンス
本モデルは完全無料での公開を予定しています。具体的な提供形式は以下の通りです。
- Hugging Face：LoRAアダプター（safetensors形式）およびマージ済みモデル
- GGUF形式：llama.cppおよびOllama用の量子化モデル（Q4_K_M, Q5_K_M, Q8_0）
- Ollama：
ollama pull saratna/qwen3.6-4b-jaによる即時利用（予定）
ライセンスはApache 2.0を採用予定であり、商用利用も含めて自由にご利用いただけます。
株式会社サラトナの取り組みについて
株式会社サラトナは、紅茶の輸入・加工・販売（オンラインショップ https://techatea.shop 等を運営）を主軸としながら、代表の金丸が高校時代からのコンピューター経験やインターネットサーバー構築、プログラミングの知見を活かし、ITおよびAI分野のコンサルティングや開発も手掛けています。
紅茶とIT事業は一見異なる領域に見えますが、「確かな品質を必要とするお客様へ届ける」という一貫した姿勢で取り組んでいます。今回のQwen3.6日本語LoRAモデルの公開も、「実用的な日本語AIを誰もが無料で利用できるようにしたい」という背景から進められているプロジェクトです。
今後のロードマップ
公開後は、以下の展開を予定しています。
- ユーザーからのフィードバックを反映した継続的なモデル改善
- 医療・法律・ビジネス等の特定ドメイン向け追加LoRAアダプターの開発
- RAG（Retrieval-Augmented Generation）を活用した社内文書検索システムの構築ガイド公開
- 日本語ベンチマーク（JCommonsenseQA, JNLI, MARC-ja等）における評価結果の公表
公開時期が決定次第、当サイトにてお知らせいたします。ご質問やお問い合わせは office@saratna.com までご連絡ください。
※ 本記事の内容は2026年7月時点のものです。公開時期や仕様は予告なく変更される場合があります。
※ Qwen3.6はAlibaba Cloudの商標です。本プロジェクトはAlibaba Cloudとは独立した取り組みです。
関連ハブ：ローカルLLM・AI技術ハブ
コメント