Nemotron-Labs-Sigma(ネモトロン・ラボズ・シグマ)は、NVIDIAが公開した大規模な連続拡散言語モデルのモデルファミリーです。3Bと8Bの2サイズで、ベース・instruct・few-step蒸留・self-speculative版を合わせて14チェックポイントがオープンウェイトで配布されています。
室谷代表取締役Nemotron-Labs-Sigmaは、NVIDIAが公開した連続拡散言語モデルのモデルコレクションで、3B/8Bの2サイズに14チェックポイントという構成です。言語生成を「1トークンずつ」から「ブロック単位で並列に」へ動かす試みなんですよね。
テキトー教師DotAI 認定講師しかも画像生成でおなじみの拡散を、そのまま言語に持ってきたのがポイントです。単に新しいモデルが出たという話じゃないんですよ。
論文はarXivに投稿されていて、モデル群はHugging Faceで公開されています。
論文はarXivに投稿されていて、モデル群はHugging Faceで公開されています。
室谷代表取締役発表の入り口はNVIDIA研究者のX投稿でした。論文著者の@MardaniMortezaさんが「言語モデルは離散のままだった。
視覚と同じように連続拡散を言語に持ち込む」と書いていて、そこがこの発表の核なんですよね。
視覚と同じように連続拡散を言語に持ち込む」と書いていて、そこがこの発表の核なんですよね。
テキトー教師DotAI 認定講師つまり「NVIDIAが画像生成の技術を言語に翻訳した」という構図です。ここを押さえると、以降の話がすっと入ります。
Nemotron-Labs-Sigmaとは?NVIDIAが公開した連続拡散言語モデル
Nemotron-Labs-Sigmaの要点
論文情報
タイトルは「Large Language Continuous Diffusion Models」、arXiv:2610.02665として公開
位置づけ
大規模な連続拡散言語モデルの最初のファミリー
モデルサイズ
3Bと8Bの2サイズを展開
構築基盤
低次元の操作可能なODE/SDE潜在軌道の上に構築
出発点の課題
離散拡散LMは並列デコード可能だが、空間が非滑らかで高次元なため推論の軌道操作や高速化が難しい
解決アプローチ
トークンを埋め込みベクトルとして扱い、滑らかな軌道で生成する方向を選択
学習方法
事前学習済みARモデルの重みでウォームスタートし、ブロック単位で尤度最適化しながら学習
室谷代表取締役まず定義から整理したいんですけど、Nemotron-Labs-SigmaはNVIDIAが公開した、連続拡散(continuous diffusion)を言語生成に適用した大規模モデル群です。論文のタイトルは「Large Language Continuous Diffusion Models」で、arXivの2610.02665として公開されています。
テキトー教師DotAI 認定講師論文の要旨では「大規模な連続拡散言語モデルの最初のファミリー」と位置づけられています。3Bと8Bの2サイズで、低次元の操作可能なODE/SDE潜在軌道の上に構築されているのが特徴です。
室谷代表取締役ここで大事なのは「離散拡散LMの課題を出発点にしている」ことなんですよね。論文は、離散拡散LMが並列デコードできる一方で、空間が非滑らかで高次元なため、推論の軌道操作や高速化が難しいと指摘しています。
テキトー教師DotAI 認定講師その課題に対して、Sigmaはトークンを埋め込みベクトルとして扱い、滑らかな軌道で生成する方向を選んだわけです。講座で受講生さんに説明するときも、まず「何を解こうとしているモデルか」から入るようにしています。
室谷代表取締役学習の作りも面白くて、事前学習済みの自己回帰(AR)モデルの重みでウォームスタートし、ブロック単位で尤度最適化しながら学習するんですよ。ゼロからではなく、既存の資産を出発点にしているのが現実的だなと。
テキトー教師DotAI 認定講師そこは実務的にも大きいですね。NVIDIAのNemotronシリーズ全体の流れを知りたい方は、NVIDIAの「Nemotron 3.5 Super VL」とは?120Bのマルチモーダルモデルもあわせて読むと位置づけが掴みやすいです。
連続拡散言語モデルとは?自己回帰型・離散拡散との違い
言語モデル方式の比較
室谷代表取締役ここが一番説明が要るところだと思うんですけど、まず従来の自己回帰型はトークンを1個ずつ順番に出す方式です。だから並列化に制約がある。
テキトー教師DotAI 認定講師一方の離散拡散LMは、マスクなどを使って複数トークンを並列にデコードできます。ただし論文は、非滑らかで高次元な空間のため軌道操作や推論高速化が難しいと指摘しています。
室谷代表取締役で、Sigmaが採る連続拡散は、トークンを埋め込みベクトルとして扱って、16次元という低次元の滑らかなODE/SDE軌道で生成するんですよね。滑らかだと何が嬉しいかというと、軌道を操作しやすい。
テキトー教師DotAI 認定講師整理するとこうです。
- 自己回帰型:1トークンずつ逐次生成。高速化に制約
- 離散拡散LM:並列デコードは可能だが、空間が非滑らかで軌道制御が困難
- 連続拡散LM(Sigma):埋め込みベクトルを低次元(16-D)の滑らかな軌道で生成。蒸留やsteeringがしやすい
室谷代表取締役この「滑らかさ」が、あとの蒸留や投機的デコーディングの話に直結してくるわけです。仕組みの違いが性能の違いになる、という構造なんですよね。
テキトー教師DotAI 認定講師単に並列に出すという話じゃなくて、軌道を設計できることが本質なんですよ。論文でも、推論時にclassifier-free guidanceとscore temperatureが高精度な推論・コーディングに不可欠だと特定しています。
室谷代表取締役画像生成でおなじみのガイダンスが、言語側でも効いてくるというのは面白いですよね。制御のツマミが増えるイメージです。
Nemotron-Labs-Sigmaのモデルラインナップ:3B/8Bと14チェックポイントの構成
Nemotron-Labs-Sigma チェックポイント構成(表示サイズ)
| 系統 | 3B系 | 8B系 |
|---|---|---|
| base | 4B | 8B |
| instruct | 4B | 8B |
| distill nfe2/4/8/16 | 4B | 9B |
| distill spec | 4B | 9B |
室谷代表取締役ここは実務で迷うところなので、Hugging Faceのコレクションで公開されている構成を整理しておきたいんですよね。
テキトー教師DotAI 認定講師では一覧にしましょう。コレクションの説明では「base、instruct、few-step distilled(NFE 2/4/8/16)、self-speculative variants」と書かれています。
| チェックポイント | 表示サイズ |
|---|---|
| Nemotron-Labs-Sigma-3B | 4B |
| Nemotron-Labs-Sigma-3B-instruct | 4B |
| Nemotron-Labs-Sigma-8B | 8B |
| Nemotron-Labs-Sigma-8B-instruct | 8B |
| Nemotron-Labs-Sigma-distill-3B-nfe2 / nfe4 / nfe8 / nfe16 | 4B |
| Nemotron-Labs-Sigma-distill-spec-3B | 4B |
| Nemotron-Labs-Sigma-distill-8B-nfe2 / nfe4 / nfe8 / nfe16 | 9B |
| Nemotron-Labs-Sigma-distill-spec-8B | 9B |
室谷代表取締役ここは誤解されやすいので丁寧に言っておくと、Hugging Face上の表示サイズは、3B系が「4B」、8Bのbase/instructが「8B」、8Bの蒸留版が「9B」という表示になっています。モデル名の数字と表示サイズが一致していないので、探すときは名前で見たほうが確実です。
テキトー教師DotAI 認定講師そうですね。「8B系は全部9B」ではなくて、あくまで蒸留版の表示が9Bということです。
ここは混同しやすいので、受講生さんにも表で確認するよう伝えています。
ここは混同しやすいので、受講生さんにも表で確認するよう伝えています。
室谷代表取締役構成としては、まずbaseがあって、instructがあって、蒸留でステップ数を絞ったものがNFE 2/4/8/16の4種類、さらにself-speculative版が各サイズに1つ。3B側は4+4で8、8B側も4+4で8……いや、合計14という発表の数字と一致しますね。
テキトー教師DotAI 認定講師はい、3Bが6、8Bが6で12、そこに……という数え方ではなく、コレクション全体で14チェックポイントというのがNVIDIAの説明です。細かい内訳の数え方はともかく、base/instruct/distill/specの4系統が両サイズにある、と捉えるのが実用的です。
室谷代表取締役ちなみにNVIDIAのNemotronシリーズは小型系も充実していて、NVIDIAの「Nemotron 3.5 Bolt E4B 4GB」とは?4GBで動く小型オープンモデルなんかはローカル実行の選択肢として参考になります。
Nemotron-Labs-Sigmaでできること:並列生成・few-step蒸留・投機的デコーディング
室谷代表取締役ここからが実用の話です。Sigmaの売りは大きく3つで、ブロック単位の並列生成、few-step蒸留、そして投機的デコーディングなんですよね。
テキトー教師DotAI 認定講師順番に行きましょう。まず並列生成は、トークンのブロックをまとめて生成する方式です。
NVIDIAの投稿でも「一度に1トークンを超える言語生成」とうたっていて、数学やコーディングの問題で複数の解を探索するのに向くとされています。
NVIDIAの投稿でも「一度に1トークンを超える言語生成」とうたっていて、数学やコーディングの問題で複数の解を探索するのに向くとされています。
室谷代表取締役2つ目のfew-step蒸留が実務的には一番刺さると思うんですよ。滑らかな軌道は低NFEでも緩やかに劣化するので、蒸留が効きやすい。
論文では分布マッチングが検討した手法の中で最も強く、数学で約8倍、コーディングで約4倍の高速化が得られたとされています。
論文では分布マッチングが検討した手法の中で最も強く、数学で約8倍、コーディングで約4倍の高速化が得られたとされています。
テキトー教師DotAI 認定講師しかも「精度損失はほぼなく、多様性も維持」と論文にあります。NFEは1回のフォワードパスあたりのトークン数で、数学が8、コーディングが4という説明がNVIDIA研究者の投稿にあります。
室谷代表取締役3つ目の投機的デコーディングは、蒸留済みの8Bモデルでの1ステップ投機的デコーディングが、GB200上でAR比約3.5倍のスループットになったという話です。しかもマスク型の離散拡散LMベースラインも上回ったと。
テキトー教師DotAI 認定講師ここは「速いだけじゃなくて、品質も保つ」という設計思想が一貫しているんですよ。さらに埋め込み空間のsteeringで品質と多様性のトレードオフを制御でき、pass@kがkの増加とともに向上するとも論文は述べています。
室谷代表取締役複数解を出すタスクと相性がいい、というのが伝わってきますね。MYUUUでも、こういう並列生成系は「候補を出して選ぶ」ワークフローと相性がいいなと感じています。
テキトー教師DotAI 認定講師とはいえ、何でもこの方式が勝つという話ではないんですよ。論文が示しているのは、あくまで標準ベンチマークでの比較と、蒸留・投機的デコーディングの効果です。
そこは正確に押さえておきたいところです。
そこは正確に押さえておきたいところです。
Nemotron-Labs-Sigmaの使い方・始め方:Hugging Faceでの入手とモデル選択
室谷代表取締役入手はHugging FaceのNVIDIAコレクション「Nemotron-Labs-Sigma」から、というのが基本線です。オープンウェイトとして公開されていて、各モデルカードが用意されています。
テキトー教師DotAI 認定講師使い方の入り口としては、まず何をしたいかで選ぶのが分かりやすいです。
- まず素の挙動を見たい → base(3B/8B)
- 指示に従わせたい → instruct(3B/8B)
- 速度を優先したい → distill-*-nfe2/4/8/16(NFEを下げるほど少ステップ)
- 投機的デコーディングを試したい → distill-spec-3B / distill-spec-8B
室谷代表取締役蒸留版はNFE 2/4/8/16と4段階あるので、速度と品質のバランスを見ながら選ぶことになります。論文では数学で8 TPF、コーディングで4 TPFという数字が示されていましたが、実際にどのNFEを選ぶかは用途次第です。
テキトー教師DotAI 認定講師ライセンスや商用利用の条件については、現時点では明らかにされていません。モデルカードごとに確認が必要です。
ここは憶測で書かないほうがいいところですね。
ここは憶測で書かないほうがいいところですね。
室谷代表取締役推論コードやノートブック、デモの具体的な提供状況についても、現時点では明らかにされていません。まずはHugging Faceのモデルカードを見に行くのが確実です。
テキトー教師DotAI 認定講師ファインチューニングまで視野に入れるなら、NVIDIAのNeMo AutoModelのドキュメントに拡散モデルのファインチューニング手順がまとまっています。ただし、そこで例として挙がっているのはWan 2.1やFLUX.1-devといった画像・動画系のモデルで、Nemotron-Labs-Sigma向けの手順が明記されているわけではありません。
室谷代表取締役そこは注意が必要ですね。ドキュメントがあるからといって、そのままSigmaに使えると決めつけないほうがいい。
あくまで拡散モデル全般の学習レシピとして参照する、という位置づけです。
あくまで拡散モデル全般の学習レシピとして参照する、という位置づけです。
テキトー教師DotAI 認定講師音声や文字起こし方面のNemotronに興味がある方は、NVIDIAの「Nemotron 3.5 Transcribe」とは?2.8%WERでオープンウェイト首位の音声認識もどうぞ。シリーズの広がりが見えます。
Nemotron-Labs-Sigmaの性能:ベンチマーク結果と高速化の実力
室谷代表取締役性能の話を整理しましょう。論文では、事前学習後の標準ベンチマークとしてGSM8K、Minerva、HumanEval、MBPPで、離散拡散LMやARベースラインを上回ったとされています。
テキトー教師DotAI 認定講師さらに教師ありファインチューニング後の難しい推論タスクとしてMATH-500とAIMEが挙げられていて、そこでも性能が示されています。特にコーディングで一貫した改善が見られた、というのが論文の主張です。
室谷代表取締役高速化の数字も整理しておくと、蒸留で数学が約8倍、コーディングが約4倍。蒸留済み8Bの1ステップ投機的デコーディングがGB200上でAR比約3.5倍のスループット。
この3つが資料に書かれている具体的な数字です。
この3つが資料に書かれている具体的な数字です。
テキトー教師DotAI 認定講師ここで大事なのは、数字の前提を外さないことなんですよ。3.5倍はGB200上での計測で、蒸留済み8Bの1ステップ投機的デコーディングという条件付きです。
条件を切り離して「3.5倍速い」とだけ言うのは不正確になります。
条件を切り離して「3.5倍速い」とだけ言うのは不正確になります。
室谷代表取締役そういうところ、記事でも丁寧に書きたいですよね。あと、pass@kがkの増加とともに向上するというのも、並列生成と相性のいい性質として論文が挙げているポイントです。
テキトー教師DotAI 認定講師まとめると、Sigmaの実力は「精度でベースラインを上回る」ことと「蒸留・投機的デコーディングで大幅に速くなる」ことの両立てです。どちらか片方だけではないところが、この発表の面白さなんですよ。
室谷代表取締役ただし、他社モデルとの比較は資料に書かれていないので、そこは触れないでおきます。あくまで論文内の離散拡散LM・ARベースラインとの比較、という範囲です。
テキトー教師DotAI 認定講師日本の金融領域でNemotronの合成データを使いたい方は、NVIDIAの「Nemotron Personas Finance Japan」とは?日本語AI向け合成データ2種を公開も参考になります。言語モデル本体とデータ整備は別の話ですが、組み合わせの視点は持ちたいですね。
室谷代表取締役最後に、この発表の意味を一言で言うと「言語生成の高速化を、モデル構造のレベルで解こうとしている」ということなんですよね。蒸留や投機的デコーディングは応用の話ですが、その土台に滑らかな軌道という構造がある。
テキトー教師DotAI 認定講師そこが単なる高速化テクニックの寄せ集めと違うところです。受講生さんにも「なぜ速くできるのか」を構造から説明できるようになってほしいなと思います。
よくある質問
室谷代表取締役ここからは、よく聞かれそうな点を整理していきますね。
テキトー教師DotAI 認定講師まず「Nemotron-Labs-Sigmaとは何か」ですが、NVIDIAが公開した3B/8Bの連続拡散言語モデルのモデルコレクションで、14チェックポイントがオープンウェイトで提供されています。
室谷代表取締役「連続拡散言語モデルとは何か、自己回帰型と何が違うのか」という点は、自己回帰が1トークンずつなのに対して、連続拡散は埋め込みベクトルを低次元の滑らかな軌道で生成し、並列生成や蒸留がしやすいという違いです。
テキトー教師DotAI 認定講師「3B/8Bと14チェックポイントの構成は?」については、base、instruct、few-step distilled(NFE 2/4/8/16)、self-speculativeの各系統が3Bと8Bにある、という構成です。Hugging Faceの表示サイズは3B系が4B、8Bのbase/instructが8B、8Bの蒸留版が9Bになっています。
室谷代表取締役「few-step蒸留やself-speculative decodingの性能は?」については、蒸留で数学約8倍・コーディング約4倍の高速化、蒸留済み8Bの1ステップ投機的デコーディングでGB200上AR比約3.5倍のスループットというのが論文の数字です。
テキトー教師DotAI 認定講師「オープンウェイトの入手方法とライセンスは?」については、Hugging FaceのNVIDIAコレクションから入手できます。ライセンスや商用利用可否については現時点では明らかにされていませんので、モデルカードでの確認が必要です。
室谷代表取締役「推論コードやデモ、ノートブックはあるのか」という点も、現時点では明らかにされていません。まずはモデルカードを起点にするのがよさそうです。
テキトー教師DotAI 認定講師「どのモデルをどの用途で選ぶべきか」については、指示追従ならinstruct、速度優先ならdistillのNFE違い、投機的デコーディングを試すならspec版、という選び方が基本になります。
室谷代表取締役ベンチマークの詳細な数値や他社モデルとの比較については、資料に書かれていない部分は触れていません。論文とモデルカードで確認するのが確実です。
テキトー教師DotAI 認定講師新しいパラダイムが出てきたときは、まず一次情報を追うのが結局一番早いんですよね。今日はその入り口を整理しました。
