2026年10月13日

AA-3Dとは?AIが3Dシーンを作る新ベンチマーク、Claude Sonnet 5.5が首位

室谷室谷代表取締役
Artificial Analysisが新しいベンチマークを出してきましたね。AA-3D(エーエー・スリーディー)は、Artificial Analysisが2026年10月12日に発表した、AIモデルがインタラクティブな3Dシーンをどれだけ上手く作れるかを測るベンチマークで、文章で書かれた指示からthree.jsのWebページを自動生成させ、人間の審査員がブラインドで見比べてEloで順位化するものです。
テキトー教師テキトー教師DotAI 認定講師
ついに3Dの番が来た、という感じですよね。Artificial AnalysisはこれまでIntelligence IndexやTerminal-Bench、SciCode、GDPvalみたいにテキストやコード中心の評価を積み上げてきたわけですが、インタラクティブな3D体験を構築する能力を独立した軸で測るベンチマークは、この発表時点で新規に追加されたものです。
室谷室谷代表取締役
しかもこれ、単にコードが正しいかを見るんじゃないんですよ。人が触って楽しいか、探索したくなるかを見ている。

そこが今までのベンチマークと一線を画すところなんですよね。

AA-3Dとは?AIが3Dシーンを作る能力を測る新ベンチマーク

まとめ
AA-3D v1.0の要点
  • AIモデルがインタラクティブな3D体験をどれだけ上手く作れるかを測るベンチマーク
  • 各モデルは文章で書かれたブリーフを受け取り、オフラインのサンドボックス内でthree.jsを使った単一のWebページを構築する
  • タスクは55個、7つのドメインにまたがる(ランドマーク、機械、生き物、ゲーム、宇宙などを含む)
  • 各ブリーフは「何を見せるか」「どう操作させるか」を指定し、残りはモデルに委ねる設計
  • 単なる正解コードのテストではなく、コード生成・物理シミュレーション・視覚的な自己確認・UI設計を組み合わせた複合タスク
  • 一発で完璧なコードを書く能力より、自分の出力を見て改善できる能力(作って、見て、直すループ)が問われる
  • Artificial Analysisのオープンソース・エージェント基盤「Stirrup」上で動作し、各タスクはネットワークアクセスのない専用サンドボックスで実行される
テキトー教師テキトー教師DotAI 認定講師
まず定義を整理しておきましょう。AA-3D v1.0は、AIモデルがインタラクティブな3D体験をどれだけ上手く作れるかを測るベンチマークです。

各モデルは文章で書かれたブリーフを受け取り、オフラインのサンドボックス内でthree.jsを使った単一のWebページを構築します。
室谷室谷代表取締役
ベンチマークっていうのはモデルの能力を公平に比較するための共通テストのことですけど、今回はその対象が「3Dシーン構築」になったわけです。タスクは55個、7つのドメインにまたがっています。

ランドマーク、機械、生き物、ゲーム、宇宙なんかが含まれていて、それぞれのブリーフが「何を見せるか」「どう操作させるか」を指定し、残りはモデルに委ねる設計です。
テキトー教師テキトー教師DotAI 認定講師
ここが面白いんですよ。単に「正解のコードを書く」テストじゃないんです。

ブリーフは要件だけを示して、あとはモデルの裁量に任せる。つまり、コード生成・物理シミュレーション・視覚的な自己確認・UI設計を組み合わせた複合タスクになっているんですよね。
室谷室谷代表取締役
MYUUUでも3Dまわりの制作をやっているので思うんですけど、これってまさに「作って、見て、直す」のループを回せるかどうかが問われるんですよ。一発で完璧なコードを書く能力より、自分の出力を見て改善できる能力のほうが効いてくる。

そこを測る設計になっているのが、実務者としてはかなり納得感あります。
テキトー教師テキトー教師DotAI 認定講師
しかも、AA-3DはArtificial Analysisのオープンソース・エージェント基盤「Stirrup」上で動作するんです。各タスクはネットワークアクセスのない専用サンドボックスで実行される。

この辺りの設計思想は、講座でエージェントを扱うときにも参考になりますね。

AA-3Dでできること――ブリーフからthree.jsの3Dシーンを自動生成

GPT-6 Astra vs Claude Sonnet 5.5 の作業スタイル
GPT-6 Astra
  • 6分で最初の完全なページに到達
  • 68分で終了
  • 出力トークンはSonnet 5.5の6.2分の1
  • 実行コスト 14.93ドル
  • リスト価格はSonnet 5.5の5倍
Claude Sonnet 5.5
  • 42分まで何も見せない
  • 2時間58分まで作業を続ける
  • 出力トークンはGPT-6 Astraの6.2倍
  • 実行コスト 11.62ドル
  • リスト価格はGPT-6 Astraの5分の1
室谷室谷代表取締役
じゃあ実際に何ができるのか。モデルはオフラインのサンドボックス内でエージェントとして働きます。

ブリーフと、全タスク共通の「デリバリー契約」を受け取り、コードを書き、シーンをレンダリングし、自分のスクリーンショットを見て修正する。これの繰り返しです。
テキトー教師テキトー教師DotAI 認定講師
サンドボックスに入っている道具が具体的でいいんですよ。Blender、Rapier物理エンジン、Python、ヘッドレスブラウザ、そしてCC0のアセットライブラリ。

これだけ揃っていると、モデルは自分で画像処理をしたり、物理挙動を組んだり、ブラウザで自分のページをテストしたりできるわけです。
室谷室谷代表取締役
制限は3時間か250ターンのどちらか早いほう。で、最終的な成果物はブラウザで動くindex.htmlの1ページなんですよね。
テキトー教師テキトー教師DotAI 認定講師
公式ページに「シーンが作られていく様子」の例が載っているんですけど、これがモデルごとの性格の違いを如実に表していて面白いです。GPT-6 Astraは6分で最初の完全なページに到達して、68分で終了する。

一方でClaude Sonnet 5.5は42分まで何も見せず、2時間58分まで作業を続けるんです。
室谷室谷代表取締役
アプローチが真逆なんですよね。Sonnet 5.5は出力トークンでGPT-6 Astraの6.2倍書いているのに、コストは1.3倍しかかかっていない。

実行コストは14.93ドル対11.62ドルで、リスト価格はGPT-6 Astraの5分の1だそうです。じっくり考えて、でも単価が安いから総額はそこまで膨らまない、という構造になっているわけです。
テキトー教師テキトー教師DotAI 認定講師
この「どう作り込むか」の違いは、モデル選びの実務に直結しますよね。早く形にして反復するタイプと、じっくり作り込むタイプ。

用途によって使い分けたいところです。

AA-3Dの仕組みと評価方法――サンドボックス・ブラインド投票・Elo

AA-3Dの評価プロセス(Build → Check → Vote → Rank)
  1. 01
    Build
    各モデルがオフラインサンドボックス内のエージェントとしてブリーフからWebページを作成
  2. 02
    Check
    ヘッドレスブラウザと人間がすべてのシーンを確認
  3. 03
    Vote
    審査員団が同じブリーフから作られた2つのシーンを、どちらのモデルが作ったかを伏せた状態で見比べて投票(ブラインド比較)。各シーンに最低30秒触れてから投票し、4回に1回は検証チェック
  4. 04
    Rank
    Bradley-Terryのフィッティングで投票をEloに変換。1,000人以上の審査員から10,000票以上の有効票を集め、21モデルを95%信頼区間付きで順位化
テキトー教師テキトー教師DotAI 認定講師
ここで評価の仕組みを整理しておきましょう。プロセスは「Build → Check → Vote → Rank」の4段階です。
室谷室谷代表取締役
順番にいきましょうか。まずBuildで、各モデルがオフラインサンドボックス内のエージェントとしてブリーフからWebページを作る。

次にCheckで、ヘッドレスブラウザと人間がすべてのシーンを確認する。
テキトー教師テキトー教師DotAI 認定講師
そしてVoteです。審査員団が、同じブリーフから作られた2つのシーンを、どちらのモデルが作ったかを伏せた状態で見比べて投票する。

これがブラインド比較ですね。先入観を排除できるのがポイントです。
室谷室谷代表取締役
審査員は各シーンに最低30秒は触れてから投票するルールで、4回に1回の比較は検証チェックになっている。で、最後にRankで、Bradley-Terryのフィッティングで投票をEloに変換するわけです。
テキトー教師テキトー教師DotAI 認定講師
規模も見ておきましょう。1,000人以上の審査員から10,000票以上の有効票を集めて、21モデルをEloで順位化しています。

95%信頼区間付きです。
室谷室谷代表取締役
この「信頼区間付き」というのが地味に大事で。後でランキングの話をしますけど、上位が統計的に並んでいるという結論は、この信頼区間があって初めて言えることなんですよね。
テキトー教師テキトー教師DotAI 認定講師
審査員が何を見ているかも分析されています。最も詳細な五分の一のシーンは、スクリーンショットが2倍の大きさ(168KB対84KB)で、空白が3分の1(22%対60%)なんです。

そして、そういう詳細なシーンは投票の63%を勝ち取っている。最も詳細でない五分の一は31%です。
室谷室谷代表取締役
ただ、ここは誤解しないほうがいいんですよ。公式も「これらのデータは、詳細さがモデルの強さの一部なのかどうかは示せない」と書いています。

詳細なシーンは主に強いモデルから出てくる、という相関の話であって、詳細にすれば勝てるという因果の話ではない。
テキトー教師テキトー教師DotAI 認定講師
そうなんです。同じモデル内で見ると効果は小さくて、そのモデルの他のシーンより標準偏差1つ分詳細なシーンでも、勝率は約1.5ポイントしか上がらない。

86個のシーン指標のうち補正を通過したのは11個で、どれも投票を4ポイント以上動かさない。つまり「見た目を盛れば勝てる」という単純な話ではないんですよね。
室谷室谷代表取締役
あと、エージェントの時間の使い方も面白い。エージェントはツール時間の82%をブラウザでのページテストに費やしているんですよ。

ブラウザテストは全ツール呼び出しの3分の1にすぎないのに、1回33〜38秒かかるから、1シーンあたり30.7分のツール時間のうち約25分を占めてしまう。
テキトー教師テキトー教師DotAI 認定講師
コードを書くのは6回に1回の呼び出しで、ツール時間のわずか6%です。つまり、書くより確かめるほうに圧倒的に時間を使っている。

上位5モデルは、他のモデルよりファイルやドキュメントを読む頻度が約半分(1シーンあたり9.4回対18.7回)で、21モデル全体では「読む回数が少ないほどEloが高い」という相関(Pearson −0.74)が出ています。
室谷室谷代表取締役
これ、実務的にはかなり示唆があるんですよね。闇雲にドキュメントを読み漁るより、早く手を動かして自分の出力を見る。

上位モデルは自分のシーンの画像を中央値10〜13ターン目で初めて見ていて、20ターン目までには少なくとも89%のシーンで見ている。下位の14〜20位は15〜40ターン目まで待つんです。
テキトー教師テキトー教師DotAI 認定講師
画像を見られる19モデルでは、早く見ることがEloと強く連動しています(Spearman 0.82)。上位5モデルはブラウザでのテスト開始も早く、中央値16ターン目に対して他は25ターン目です。
室谷室谷代表取締役
面白いのは「回数」より「タイミング」なんですよ。MiniMax-M3は1シーンあたり54回も自分のシーンを見ていて全モデル中最多なんですけど、20ターン目までに見ているのはわずか7%のシーンで、順位は19位です。

たくさん見ればいいわけじゃない。
テキトー教師テキトー教師DotAI 認定講師
講座でも受講生さんによく言うんですけど、「見直しの回数」より「いつ見直すか」なんですよね。早く失敗を見つけたほうが手戻りが小さい。

このベンチマークは、その原則をモデルの挙動として可視化しているわけです。

AA-3Dランキング結果――Claude Sonnet 5.5が首位、上位4モデルは統計的に並ぶ

室谷室谷代表取締役
ここからが本題のランキングです。首位はClaude Sonnet 5.5でElo 1194。

95%信頼区間は1160〜1228です。
テキトー教師テキトー教師DotAI 認定講師
ただし、ここが重要なんですけど、上位4モデルは統計的に並んでいます。2位のClaude Opus 5.5が1190(信頼区間1155〜1225)、3位のGPT-6 Astraが1165(1131〜1199)、4位のClaude Fable 5.1が1131(1098〜1165)。

この3モデルの95%信頼区間が、すべてClaude Sonnet 5.5の区間と重なっているんです。
室谷室谷代表取締役
つまり「Claude Sonnet 5.5が単独で最強」とは言い切れない。上位4つは同水準と見るべきなんですよね。

ちなみにこの4つは全部AnthropicとOpenAIのモデルです。
テキトー教師テキトー教師DotAI 認定講師
5位はGPT-6 Solで1123、6位がGPT-6.1 Solで1114。MetaのMuse Spark 1.3が7位で1035です。
室谷室谷代表取締役
オープンウェイト勢の最高位はKimi K3の982(11位)とMiMo-V2.6-Proの977(12位)で、首位から200ポイント以上離されています。
テキトー教師テキトー教師DotAI 認定講師
全21モデルのランキングを整理するとこうなります。
順位モデルElo
1Claude Sonnet 5.5 (Max, Default Fallback)1194
2Claude Opus 5.5 (Max, Default Fallback)1190
3GPT-6 Astra (Max)1165
4Claude Fable 5.1 (Max, Default Fallback)1131
5GPT-6 Sol (Max)1123
6GPT-6.1 Sol (Max)1114
7Muse Spark 1.3 (Max)1035
8GPT-6 Luna (Max)1000
9Claude Haiku 5.5 (Max)994
10Grok 4.7 (Xhigh)994
11Kimi K3 (Max)982
12MiMo-V2.6-Pro977
13Gemini 3.8 Flash (High)965
14Qwen3.8 Max (0902)948
15GLM-5.3-Flash931
16Mistral Large 4 Preview868
17Step 5 Preview848
18GLM-5.3 (Max)782
19MiniMax-M3739
20Inkling (Xhigh)579
21Nemotron 3 Ultra 550B A55B (Reasoning)569
室谷室谷代表取締役
GPT-6 LunaはElo 1000で基準点に固定されているんですよね。このボードのEloスケールの参照点として。
テキトー教師テキトー教師DotAI 認定講師
ドメイン別でも面白い結果が出ています。7つのドメインのうち6つで、上位5モデルのどれかが最高勝率を取っているんです。

唯一の例外が「生き物」で、ここでは6位のGPT-6.1 Solが78.6%で、Claude Sonnet 5.5の78.5%と並んでトップです。
室谷室谷代表取締役
1ポイント未満の差ですからね。公式も「約12ポイント未満の差はノイズ」と明言しています。
テキトー教師テキトー教師DotAI 認定講師
上位5モデルはどのドメインでも安定しているんですよ。全ドメインで、そのモデルの総合Eloが予測する勝率から12ポイント以内に収まっている。

他のモデルは112セルのうち6つだけがそれを外れる、という結果です。
室谷室谷代表取締役
万能型と特化型の差が出ているわけですね。

AA-3Dのコストと性能――1シーン0.20ドルから32.08ドル、費用対効果の最前線

テキトー教師テキトー教師DotAI 認定講師
コストの話も見逃せません。1シーンあたりのコストはモデルによって0.20ドルから32.08ドルまで開いています。

最安はGPT-6 Lunaで、最高額はClaude Fable 5.1です。
室谷室谷代表取締役
支出の69%は入力が占めているんですよ。これはエージェントが毎ターン、コンテキスト全体を送り直すからです。

ここ、エージェント設計の実務では効いてくるところですよね。
テキトー教師テキトー教師DotAI 認定講師
上位5モデルの中ではGPT-6 Solが1シーン3.46ドルで最も安い。Claude Sonnet 5.5はその4.4倍、Claude Fable 5.1は9.3倍です。
室谷室谷代表取締役
で、コストのフロンティアが4モデルあるんですよ。それぞれ、より安いすべてのモデルよりEloが高いという条件を満たすモデルです。

整理するとこうなります。
  • GPT-6 Luna:1シーン0.20ドル、Elo 1000
  • Muse Spark 1.3:3.21ドル、Elo 1035
  • GPT-6 Sol:3.46ドル、Elo 1123
  • Claude Sonnet 5.5:15.18ドル、Elo 1194
テキトー教師テキトー教師DotAI 認定講師
上位4モデルの残りは1シーン18.11ドルから32.08ドルです。ガレオン船のブリーフでは、各フロンティアモデルのシーンが票の大半を勝ち取ったと報告されています。
室谷室谷代表取締役
特に注目なのがGPT-6 Lunaですよ。1シーン0.20ドルで、それでも8位に入っている。

55シーンすべてを構築しています。Kimi K3は同程度のEloのために、1シーンあたり68倍使っている計算になります。
テキトー教師テキトー教師DotAI 認定講師
コストパフォーマンスの観点では、GPT-6 Lunaの存在は大きいですよね。安いからといって品質が比例して落ちるわけではない、という事例になっています。
室谷室谷代表取締役
ただ、ここも注意が必要で。コストはトークン単価だけでなく、キャッシュヒット率にも左右されるんですよ。

公式ページには「Inklingは代表的なキャッシュヒット率がないため表示していない」と明記されています。つまり、同じモデルでも使い方によって実効コストは変わる。
テキトー教師テキトー教師DotAI 認定講師
その通りです。だからこそ、単純な単価比較ではなく、実際のワークロードでのコストを見る必要がありますね。
室谷室谷代表取締役
ちなみに、知能指数との関係も面白いんですよ。Artificial Analysis Intelligence Indexの1ポイントは、AA-3DのEloで約18ポイントに相当する(Pearson 0.92)。

これはTerminal-Bench 4.0の0.81やSciCodeの0.76より強い相関です。
テキトー教師テキトー教師DotAI 認定講師
ただし例外もあります。GPT-6 LunaとGPT-6 Solは、このトレンドをそれぞれ141と93Elo上回っている。

GPT-6 Astraも46上回ります。逆にGLM-5.3は197下回っていて、これは画像を見られないことが一因かもしれないと分析されています。

同じZ AIのGLM-5.3-Flashは画像を見られるので、より低い知能指数で149高くスコアしています。
室谷室谷代表取締役
マルチモーダル対応の有無が3Dタスクで効いてくる、というのは実感としてありますね。自分の出力を見られないと、改善のループが回らないわけですから。

AA-3Dの使い方・始め方――投票に参加する方法と結果の見方

テキトー教師テキトー教師DotAI 認定講師
で、一般ユーザーはこれをどう使えるのか。まず、誰でも投票に参加できるんですよ。
室谷室谷代表取締役
AA-3D Votingのページに行くと、2つの無名のモデルが同じブリーフから作った2つのシーンが表示される。審査員団と同じように各シーンを30秒ほど探索して、ドラッグで見回したりシーン自身のコントロールを使ったりしてから、好みのほうを選ぶと、どちらのモデルが作ったかが明らかになる仕組みです。
テキトー教師テキトー教師DotAI 認定講師
ただし、ここで投じた票はリーダーボードにはカウントされないと明記されています。あくまで体験用ですね。
室谷室谷代表取締役
公式ページでは、ランドマーク、機械、自然現象、生き物、ゲーム・スポーツ・操縦、宇宙、物語・ファンタジーの7ドメインから、タスクとモデルを選んでシーンを読み込めるようになっています。例えば「ミトコンドリアの内部」「鼓動する心臓」「テーブルを片付ける猫」「T-レックスの骨格歩行」「重量挙げ選手の解剖」みたいなタスクがあるんですよ。
テキトー教師テキトー教師DotAI 認定講師
21モデルすべてが、そうしたタスクのシーンを持っているんですね。
室谷室谷代表取締役
リーダーボードと完全な結果は公式のリーダーページで見られます。新しいモデルがリリースされるたびに追加されていく予定だと発表されています。
テキトー教師テキトー教師DotAI 認定講師
あと、方法論のページに生成設定やシーンのチェック、Eloの計算方法がドキュメント化されています。AA-3Dはオープンソースのエージェント基盤Stirrup上で動いているので、そちらも公開されています。
室谷室谷代表取締役
こういう評価基盤がオープンになっていると、僕ら実務側も「どのモデルをどう使うか」の判断材料にできるんですよね。うちでも3Dまわりの制作をやっているので、モデル選びの参考にしたいところです。
テキトー教師テキトー教師DotAI 認定講師
モデル選びといえば、コーディングエージェントの使い分けについてはCursorのモデル選択完全ガイドでも整理していますし、Claude系の最新事情はAnthropic、最強エージェントモデル「Claude Sonnet 5」発表も参考になります。
室谷室谷代表取締役
あと、モデルごとの性能と料金を横並びで見たいならChatGPTのモデル性能比較も合わせてどうぞ。Sonnet 5.5の位置づけはClaude Code 4.5完全ガイドの流れで追うと分かりやすいと思います。

よくある質問

Q. AA-3Dとは何を測るベンチマークですか?

A. AA-3D v1.0は、AIモデルがインタラクティブな3D体験をどれだけ上手く作れるかを測ります。各モデルは文章で書かれたブリーフを受け取り、オフラインのサンドボックス内でthree.jsを使った単一のWebページを構築します。ベンチマークは7ドメインにまたがる55タスクで構成されています。

Q. AA-3Dではどうやってモデルがランク付けされるのですか?

A. 募集した人間の審査員団によるブラインド比較から導かれるEloレーティングでランク付けされます。審査員は同じタスクで作られた2つのシーンを操作し、どちらのモデルが作ったかを知らないまま好みのほうを選びます。Eloが高いほど、より頻繁に好まれることを示します。

Q. 誰でも投票に参加できますか?

A. はい。AA-3D Votingのページで、2つの無名モデルが同じブリーフから作った2つのシーンを比較して投票できます。ただし、そこで投じた票はリーダーボードにはカウントされません。

Q. 首位のモデルは何ですか?

A. Claude Sonnet 5.5がElo 1194で最高スコアですが、上位4モデルは統計的に並んでいます。Claude Opus 5.5(1190)、GPT-6 Astra(1165)、Claude Fable 5.1(1131)の95%信頼区間が、いずれもClaude Sonnet 5.5の区間と重なっています。

Q. 1シーンあたりのコストはどのくらいですか?

A. モデルによって0.20ドルから32.08ドルまで開きがあります。最安はGPT-6 Lunaで、最高額はClaude Fable 5.1です。支出の69%は入力が占めており、これはエージェントが毎ターン、コンテキスト全体を送り直すためです。

Q. オープンウェイトのモデルはどのくらいの順位ですか?

A. オープンウェイト勢の最高位はKimi K3(Elo 982、11位)とMiMo-V2.6-Pro(977、12位)で、首位から200ポイント以上離されています。

Q. AA-3Dはどの基盤で動作していますか?

A. Artificial Analysisのオープンソース・エージェント基盤「Stirrup」上で動作します。各タスクはネットワークアクセスのない専用サンドボックスで実行されます。

Q. 新しいモデルは追加されますか?

A. はい。新しいモデルがリリースされるたびに、AA-3Dリーダーボードに追加されていくと発表されています。

Related

関連記事

New Articles

新着記事

ガイド

Grokの読み方は「グロック」か「グロク」か?公式回答と会社名・料金の最新事情

2026年11月18日
室谷テキトー教師
ガイド

GoogleのAIモードとAIによる概要の消し方|公式オフ機能の有無とPC・スマホの回避策

2026年11月18日
室谷テキトー教師
ガイド

Azure OpenAI Serviceとは?料金・モデル一覧・データの扱いを最新情報で整理

2026年11月18日
室谷テキトー教師
ニュース

Perplexityの「Orchestrator API」とは?45以上のモデルを1つのAPIキーに統合

2026年11月18日
室谷テキトー教師
ニュース

Microsoftの「Copilot Workspaces」とは?人とエージェントが協働する新体験

2026年11月18日
室谷テキトー教師
ガイド

Geminiのファミリープランは何人まで?Google AI Proを家族で割る料金と設定の手順

2026年11月18日
室谷テキトー教師
ニュース

Microsoft MAIとは?Ignite 2026で発表の7モデルと料金

2026年11月18日
室谷テキトー教師
ニュース

Replit Missionsとは?エージェントスウォームで目標達成型の自律実行

2026年11月18日
室谷テキトー教師
ニュース

Copilot Fusion Maxとは?Terminal-Bench 4.1首位の自動モデル選択

2026年11月18日
室谷テキトー教師
ニュース

Googleの「Gemini Tasks」とは?日本でも無料開始、Gemini 4 Hydrogen搭載

2026年11月18日
室谷テキトー教師

Join

AIプレナーになる。

入会は審査制です。いまの事業と、AIで何を動かしたいのかを聞かせてください。

参加を申請する