ai-garage
News

国産オープンLLM「LLM-jp-4 33B」公開!商用可・必要容量66GB・性能はどこまで

「LLM-jp-4 33B は商用利用できる?」の答えは“できる(Apache 2.0)”だよ。NII が2026年8月18日に llm-jp-4-33b-base/thinking の2本を公開。332億パラメータの Dense 型、容量は BF16 で約66.4GB、日本語 MT-Bench は8.00だよ。

国産オープンLLM「LLM-jp-4 33B」公開!商用可・必要容量66GB・性能はどこまで

この記事の要点

  • 国立情報学研究所(NII)が2026年8月18日、国産のオープンなLLM「llm-jp-4-33b-base」と「llm-jp-4-33b-thinking」の2本を公開したよ。ライセンスは Apache 2.0 で、追加契約なしで商用利用できるんだ。
  • パラメータは33,219,548,160(約332億)の Dense 型。64層・隠れ層5,120・注意ヘッド40で、一度に読める量は65,536トークン。事前学習と中間学習で合計11.7兆トークンを使っているよ。
  • ダウンロードの容量は BF16 で約66.4GB(safetensors 14分割)。学習に使ったコーパスも大部分が公開されていて、ライセンス上の制約がある一部だけ非公開なんだ。
  • NII 自身の評価では日本語 MT-Bench が8.00で、OpenAI の gpt-oss-20b(7.33)と自分たちの従来モデル32B-A3B(7.82)を4種類すべてで上回ったよ。ただし審査役に使った gpt-5.4 自身は8.87で、そこには届いていないんだ。

やっほー、ぼくてんびん丸!国産のAIって、実は「重みまで丸ごと配っている」ものがあるんだ。 その代表格が更新されたよ。国立情報学研究所(NII)が、約332億パラメータの新しいオープンLLMを公開したんだ。しかも中身の作り方まで、かなりの部分が公開されているよ。結論からいくね。

結論:2026年8月18日公開、ライセンスは商用OKの Apache 2.0

  • 公開されたのは llm-jp-4-33b-basellm-jp-4-33b-thinking の2本。前者は事前学習まで済んだ土台、後者は会話向けに仕上げた完成版だよ。
  • ライセンスは Apache 2.0。追加の契約や条件なしで商用利用できるんだ。
  • 規模は 33,219,548,160パラメータ(約332億)の Dense 型。一度に読める量は 65,536トークン
  • 学習に使ったのは 合計11.7兆トークン。しかもコーパス自体も大部分が公開されているよ。
  • ダウンロードの容量は BF16 で約66.4GB(14分割)。

作ったのは NII の大規模言語モデル研究開発センター(LLMC)。研究機関がここまで丸ごと出しているのは、国産では珍しい形なんだ。

何が公開されたの?

置き場は Hugging Face(ハギングフェイス)の llm-jp アカウントで、2本セットだよ。

リポジトリ中身何に使う?
llm-jp/llm-jp-4-33b-base事前学習+中間学習まで済んだ土台自分で追加学習して育てたい人向け
llm-jp/llm-jp-4-33b-thinkingSFT と DPO で仕上げた会話用そのまま質問に答えさせたい人向け

「thinking」という名前どおり、こちらは答える前に考えを書き出すタイプ。考える深さは reasoning_effortlowmedium を選べるよ。

面白いのは、事後学習に強化学習を使っていないと明記してあるところ。仕上げは教師ありファインチューニング(SFT)と直接選好最適化(DPO)だけなんだ。最近の海外モデルが強化学習でスコアを伸ばしているのと比べると、あえて素朴な作りを選んでいることになるよ。

中身のスペックはどうなってる?

LLM-jp-4 には3つのサイズがあって、33B はいちばん大きい Dense 型という位置づけだよ。

モデル隠れ層注意ヘッド総パラメータ実際に動くパラメータ
8BDense324,096328,590,200,832全部
32B-A3BMoE322,5604032,139,028,9923,827,476,992
33BDense645,1204033,219,548,160全部

一度に読める量はどれも 65,536トークンで共通なんだ。

ここでいちばん誤解しやすいのが 32B-A3B と 33B の違い。名前の数字はほぼ同じなのに、中身の考え方が真逆だよ。32B-A3B は MoE(混合エキスパート)で、128個の専門家のうち8個だけを選んで動かすから、毎回働くのは約38億パラメータぶん。一方の 33B は Dense、つまり332億ぜんぶが毎回働くんだ。だから 33B のほうが動かすのは重いけれど、スコアは上、という関係になるよ。

トークナイザ(文字を数字に変える部品)は llm-jp-tokenizer v4.0 ベース。チャットの書式は OpenAI の Harmony 形式に合わせてあるんだけど、モデルカードには「openai-harmony ライブラリで直接トークナイズするのは対応していない、付属のトークナイザを使ってね」という注意が書いてあるよ。ここは動かす人がハマりやすいところだと思う。

性能はどこまで来た?

NII が公表した評価表がこれだよ。数字が大きいほど良い、10点満点と5点満点が混ざっているから列ごとに見てね。

モデル(考える深さ)MT-Bench 日本語MT-Bench 英語AnswerCarefullyllm-jp-instructions
llm-jp-4-33b-thinking(medium)8.008.243.793.79
llm-jp-4-33b-thinking(low)7.678.053.633.74
llm-jp-4-32b-a3b-thinking(medium)7.827.863.703.61
llm-jp-4-8b-thinking(medium)7.547.793.693.54
gpt-oss-20b(medium)7.337.853.553.16
gpt-4o(2024年8月版)7.297.694.004.07
gpt-5.4(medium)8.878.894.434.82

日本語 MT-Bench の列だけ並べると、こういう順番になるよ。

日本語MT-Benchスコアの比較図。上から gpt-5.4(参考・審査役)8.87、llm-jp-4-33b-thinking 8.00、llm-jp-4-32b-a3b-thinking 7.82、llm-jp-4-8b-thinking 7.54、gpt-oss-20b 7.33。いずれも考える深さ medium、国立情報学研究所が gpt-5.4 を審査役にして測った値(2026年8月18日公開時点)

読み取れることは3つあるよ。

ひとつめ。同じ LLM-jp-4 の中では、33B が全部勝っている。 従来の32B-A3B(7.82)や8B(7.54)を、4種類すべてで上回ったんだ。サイズを上げた効果はちゃんと出ているね。

ふたつめ。OpenAI のオープンモデル gpt-oss-20b には勝っている。 日本語 MT-Bench で8.00対7.33、llm-jp-instructions では3.79対3.16と差が開いたよ。ただし20B と 33B でサイズが違うから、同じ体重で勝ったわけではないことは押さえておきたいんだ。

みっつめ。閉じたモデルには届いていない。 審査役に使われた gpt-5.4 は日本語 MT-Bench 8.87、安全性の AnswerCarefully は4.43。33B は8.00と3.79で、どちらも下だよ。AnswerCarefully だけは2024年の gpt-4o(4.00)にも届いていないのが正直なところなんだ。

この数字の読み方に注意が2つある

注意1:この評価は NII 自身が回したもの。 使っているのは llm-jp-judge というNII が作った評価フレームワークで、4種類のうち llm-jp-instructionsAnswerCarefullyNII 側が用意したデータセットだよ。第三者による実測ではないんだ。

注意2:審査役はAI。 採点は gpt-5.4-2026-03-05 が答案を読んで点をつける方式(LLM-as-a-Judge)で、3回の平均値なんだ。モデルカード自身が「以前の llm-jp-3 では gpt-4o を審査役にしていて、審査役を変えたぶん MT-Bench の点は下がる」と注記しているよ。つまり過去に発表された LLM-jp-3 の点数とは直接比べられないってこと。ここを混ぜて「上がった/下がった」と言うのは危ないんだ。

動かすには何が必要?

現実的なところを押さえておくね。

項目数字
ファイル合計(BF16)約66.4GB(14分割)
一度に読める量65,536トークン
ライセンスApache 2.0(商用可)

約66.4GB っていうのは、置いておくだけでこれだけ要るという意味だよ。動かすときは、ここに読ませる文章ぶんの作業用メモリが上乗せされるんだ。今回は軽くした版(FP8 などの量子化版)が公式からは出ていないので、手元の環境が小さい人は、まず8B か32B-A3B から触るほうが現実的だと思う。8月15日に重みが公開された Qwen3.8-27B が BF16 で約51.7GB だったから、それよりひとまわり大きい計算になるよ。

ぼくの感想

ぼくがいちばん価値があると思ったのは、スコアじゃなくて公開している範囲なんだ。

重みを配るモデルは今けっこうあるけれど、学習に使ったコーパスまで配っているものは少ない。今回は事前学習の llm-jp-corpus-v4.1、中間学習の llm-jp-corpus-midtraining-v2、事後学習の SFT・DPO データまで置き場が示されているよ(ライセンス上の制約で一部は非公開)。「何を読ませたらこの性能になったのか」を後から検証できるのは、研究機関が作る意味がちゃんと出ているところだと思う。

一方で、素直に見ておきたい点もあるんだ。AnswerCarefully が3.79で、2年前の gpt-4o(4.00)にも届いていない。 モデルカード自身が「研究開発の初期段階で、出力が人間の意図や安全性に沿うよう調整しきれていない」と書いているから、そのまま業務のお客さん対応に出すのは早い気がする。強化学習を使わずSFTとDPOだけで仕上げているぶん、ここは伸ばしどころとして残っているのかもしれないね。

だから使いどころは、「安全性を自分で足せる人が、中身を確かめながら育てる土台」なんじゃないかな。base 版がわざわざ一緒に公開されているのは、たぶんそういう使われ方を想定しているからだと思う。純国産の商用APIである PLaMo 3.0 Prime とは、狙っている場所がぜんぜん違うんだ。

まとめ

  • 2026年8月18日、NII が llm-jp-4-33b-basellm-jp-4-33b-thinking を公開。 ライセンスは Apache 2.0 で商用可。
  • 33,219,548,160パラメータの Dense 型、64層・隠れ層5,120・注意ヘッド40、一度に読める量は 65,536トークン
  • 学習は合計11.7兆トークン、コーパスも大部分が公開されている。ダウンロード容量は BF16 で約66.4GB
  • 日本語 MT-Bench は 8.00 で、gpt-oss-20b(7.33)と従来の32B-A3B(7.82)を4種類すべてで上回った。ただし審査役の gpt-5.4(8.87)には届かず、安全性の AnswerCarefully(3.79)は gpt-4o(4.00)にも及んでいない
  • 評価は NII 自身が自作フレームワークで、AIを審査役にして測ったもの。第三者の実測ではないことを踏まえて読むのがいいよ。

国産モデルの話って「日本語が得意」で終わりがちだけど、このモデルの本当の売りは、作り方まで追える透明さだと思うんだ。数字だけ見て他と並べるより、そこを評価したほうがフェアな気がするよ。

よくある質問

Q.LLM-jp-4 33B は商用利用できる?
A.できます。Hugging Face の公式リポジトリ `llm-jp/llm-jp-4-33b-thinking` と `llm-jp/llm-jp-4-33b-base` のモデルカードに Apache License, Version 2.0 と明記されており、追加の契約や条件なしで商用利用できます。ただしモデルカードには「研究開発の初期段階のモデルであり、出力が人間の意図や安全性に沿うよう調整しきれていない」という但し書きがあるため、そのまま製品に載せる前に自分の用途での検証は必要です。
Q.LLM-jp-4 33B を動かすにはどれくらいの容量が必要?
A.モデル本体のファイル合計は約66.4GB です(BF16・safetensors 14分割・Hugging Face 上の実測値)。これはダウンロードして置いておくのに必要な容量で、実際に動かすときはこれに加えて、一度に読ませる文章量ぶんの作業用メモリが必要になります。65,536トークンをフルに使う前提なら、余裕を見ておくのが安全です。
Q.LLM-jp-4 33B の性能は ChatGPT と比べてどう?
A.NII が公表した評価では届いていません。日本語 MT-Bench で llm-jp-4-33b-thinking が8.00に対し、審査役に使われた gpt-5.4(reasoning_effort = medium)が8.87です。安全性を見る AnswerCarefully でも3.79対4.43で、2024年の gpt-4o(4.00)にも及んでいません。一方、OpenAI のオープンモデル gpt-oss-20b(7.33 / 3.55)には4種類すべてで上回っています。
Q.LLM-jp-4 の 33B と 32B-A3B はどう違う?
A.作りが違います。33B は64層・隠れ層5,120の Dense 型で、総パラメータ33,219,548,160のすべてが毎回動きます。32B-A3B は MoE(混合エキスパート)型で、総パラメータ32,139,028,992のうち128個のエキスパートから8個だけを選んで動かすため、実際に動くのは3,827,476,992(約38億)です。動かすのが軽いのは32B-A3B、日本語 MT-Bench のスコアが高いのは33B(8.00対7.82)という関係になっています。
Q.LLM-jp-4 33B の学習データは公開されている?
A.大部分が公開されています。事前学習は `llm-jp-corpus-v4.1`、中間学習は `llm-jp-corpus-midtraining-v2` として NII の GitLab で配布され、事後学習の SFT・DPO 用データセットも Hugging Face に置かれています。ただしモデルカードには、ライセンス上の制約で一部は公開対象から外していると書かれています。
Q.LLM-jp-4 33B は強化学習で仕上げてある?
A.使っていません。モデルカードには、事後学習は教師ありファインチューニング(SFT)と直接選好最適化(DPO)で行い、強化学習(reinforcement learning)は使っていないと明記されています。

参考・一次ソース

この記事に出てきた用語・モデル

関連 AI モデル

この記事をシェア

Xでシェア

関連記事

更新を受け取る