2026年10月20日

AA-PersonalityBenchとは?Artificial Analysisが発表したAIの「性格」評価ベンチマーク

室谷室谷代表取締役
AA-PersonalityBench(エーエー・パーソナリティベンチ)は、Artificial Analysisが2026年に発表した言語モデルの「性格」と「コミュニケーションスタイル」を測るベンチマークなんですよね。同じ正解を出しても使用感が違う、という問題意識が出発点です。
テキトー教師テキトー教師DotAI 認定講師
能力ベンチマークではないのがポイントです。公式ページにも「スコアはモデルがどう書き、どう応答する傾向があるかを示すもので、正しいかどうかを示すものではない」と明記されています。

AA-PersonalityBenchとは?Artificial Analysisが発表した「性格」評価ベンチマーク

AA-PersonalityBenchの概要
性格特性30項目
LLM審判団がペア比較で判定し、8つの指標に集約
コミュニケーション特性21項目
文の長さや絵文字の使用などをプログラムで機械的に計測
質問は計900問
特性ごとに30問ずつ用意
素のデフォルト挙動を測定
システムプロンプトなしの状態を評価
室谷室谷代表取締役
まず定義から整理しましょう。AA-PersonalityBenchは、Artificial Analysisが発表した、言語モデルの性格を30の特性、コミュニケーションスタイルを21の特性で評価するベンチマークです。
テキトー教師テキトー教師DotAI 認定講師
発表文の冒頭が「2つのモデルが同じくらい正しい答えを出しても、使ってみると全く違うと感じることがある」という問題提起なんですよ。単に賢さを比べる話じゃないんです。
室谷室谷代表取締役
用途によって欲しい性格は違うわけですよね。創作なら想像力、法務なら率直さ。

でも正答率だけでは自分に合うモデルは選べない。そこを埋めるのがこのベンチマークです。
テキトー教師テキトー教師DotAI 認定講師
評価は2本柱です。①30の性格特性をLLM審判団がペア比較で判定し、8つの指標に集約する。

②文の長さや絵文字の使用など21の伝達特性をプログラムで機械的に計測する。この構造は講座でも「主観評価と客観計測を分ける典型例」として紹介している形に近いですね。
室谷室谷代表取締役
質問は計900問。特性ごとに30問ずつ用意されていて、システムプロンプトなしの「素のデフォルト挙動」を測るのが面白いところです。

AA-PersonalityBenchで分かること——8つの性格指標と21の伝達特性

8つの性格指標と構成する特性・問題数
指標構成する特性問題数
表現力(Expressiveness)Lexically Varied, Eloquent, Literate, Natural Sounding, Metaphorical150問
構成力(Organization)Structured, Scannable, Bottom-Line Summary, Answer First120問
情報量(Informativeness)Information Dense, Evidence-Based, Resource-Specific, Actionable Guidance, Pragmatic150問
透明性(Transparency)Truthful, Admits Uncertainty, Disclaims Assumptions, Flags Nuances, Sycophantic(反転)150問
温かみ(Warmth)Friendly, Humorous, Sincere, Emotionally Intelligent120問
信念(Conviction)Direct, Confident, Opinionated, Constructive Pushback120問
想像力(Imagination)Creative, Open-Ended60問
スロップ(Slop)Slop30問
テキトー教師テキトー教師DotAI 認定講師
ここは構造化して整理しましょう。まず8つの性格指標です。
室谷室谷代表取締役
整理するとこうです。
指標内容構成する特性問題数
表現力(Expressiveness)豊かで多様、作り込まれた言葉Lexically Varied, Eloquent, Literate, Natural Sounding, Metaphorical150問
構成力(Organization)構造化され、読みやすく、結論が先Structured, Scannable, Bottom-Line Summary, Answer First120問
情報量(Informativeness)実用的な深さ、根拠、実行可能な内容Information Dense, Evidence-Based, Resource-Specific, Actionable Guidance, Pragmatic150問
透明性(Transparency)誠実、不確実性を認める、お世辞を言わないTruthful, Admits Uncertainty, Disclaims Assumptions, Flags Nuances, Sycophantic(反転)150問
温かみ(Warmth)親しみやすい、ユーモラス、誠実、情緒的Friendly, Humorous, Sincere, Emotionally Intelligent120問
信念(Conviction)直接的、自信のある立場、建設的な反論Direct, Confident, Opinionated, Constructive Pushback120問
想像力(Imagination)創造的、探索的、開かれた思考Creative, Open-Ended60問
スロップ(Slop)定型句・一般的表現の多さSlop30問
テキトー教師テキトー教師DotAI 認定講師
透明性だけ「お世辞的(Sycophantic)」が反転されているのがミソです。お世辞が少ないほど透明性スコアが上がる設計になっています。
室谷室谷代表取締役
そして21の伝達特性は4カテゴリに分かれます。長さ(文字数・単語数・文数・段落数・平均文長)、構造(リスト・見出し・表)、句読点(エムダッシュ・短縮形・感嘆符・疑問符・括弧・引用符・コロン・省略記号)、強調(太字・斜体・絵文字・頭字語・疑問符で終わるか)です。
テキトー教師テキトー教師DotAI 認定講師
これらは900問すべての応答に対してプログラムで計算され、平均値が報告されます。
室谷室谷代表取締役
この2本柱が合わさって、モデルごとの「指紋(フィンガープリント)」が見えるわけです。

AA-PersonalityBenchの使い方・始め方——ランキング比較と自分好みの順位の作り方

AA-PersonalityBenchの4つの使い方
  1. 01
    指標別ランキングを見る
    指標ごとのモデルランキングを確認する
  2. 02
    2モデルを特性ごとに比較
    各バーは「その特性で片方の回答が好まれる確率」を示す(Elo差から算出)
  3. 03
    自分好みの重み付けで順位を作る
    30の特性を−2〜+2で重み付けし、重み付き平均を1〜100のパーセンタイルに変換(負の重みはスコアから差し引かれる)
  4. 04
    類似モデルのクラスタを見る
    30の性格特性スコアの相関でモデルをグループ化し、性格ファミリーを可視化する
室谷室谷代表取締役
使い方は大きく4つあります。まず指標別のランキングを見る。

次に2モデルを特性ごとに比較する。そして自分好みの重み付けで順位を作る。

最後に類似モデルのクラスタを見る、という流れです。
テキトー教師テキトー教師DotAI 認定講師
2モデル比較では、各バーが「その特性で片方の回答が好まれる確率」を示します。例えば公式ページの例では、Claude Opus 5.5とClaude Sonnet 5.5を比べて、Lexically Variedが83%対17%、Eloquentが77%対23%と表示されています。

Elo差から確率を出している仕組みです。
室谷室谷代表取締役
自分好みの順位作りは、30の特性それぞれを−2から+2で重み付けするんですよね。重み付き平均を出して、1〜100のパーセンタイルに変換する。

負の重みはスコアから差し引かれます。
テキトー教師テキトー教師DotAI 認定講師
これは受講生さんにも刺さる機能だと思います。「法務用途なら率直さと透明性を+2、ユーモアは−1」みたいに自分の優先順位を数値化できるわけですから。
室谷室谷代表取締役
MYUUUでも、用途ごとにモデルを使い分ける場面が増えているので、この重み付け機能は実務的にありがたいですね。Claude Fable 5.1の位置づけについてはClaude Fable 5とは?読み方・料金・Fable 5.1との違いを整理でも整理しています。
テキトー教師テキトー教師DotAI 認定講師
クラスタリングも面白いですよ。30の性格特性スコアの相関でモデルをグループ化して、創発的な性格ファミリーを見つける。

モデルファミリーの枝が近いほど似ている、という可視化です。
室谷室谷代表取締役
あと、モデルごとの「指紋」表示もあります。全モデル平均からどれだけ離れているかを標準偏差(σ)で示すもので、各モデルの最も際立った特性と最も弱い特性が5つずつ見える。
テキトー教師テキトー教師DotAI 認定講師
例えばClaude Opus 5.5なら、Evidence-Basedが+2.0σ、Information Denseが+1.7σ、Truthfulが+1.6σと上振れし、Slopが−1.0σと下振れしている、と公式ページに載っています。

AA-PersonalityBenchの評価結果——指標別に強みを持つモデルたち

室谷室谷代表取締役
ここが一番気になる結果の部分です。8指標それぞれで上位に来るモデルが違うんですよね。
テキトー教師テキトー教師DotAI 認定講師
整理するとこうです。
  • 表現力:Claude Fable 5.1、GLM-5.3、GLM-5.3-Flash
  • 構成力:DeepSeek V4.1 Flash、Step 5 Preview、Inkling
  • 情報量:Muse Spark 1.3、Claude Fable 5.1、Muse Wonder、Claude Opus 5.5
  • 透明性:Claude Sonnet 5.5、Claude Fable 5.1、GPT-6 Astra
  • 温かみ:Muse Wonder、Muse Spark 1.3、Claude Fable 5.1
  • 信念:Claude Fable 5.1、DeepSeek V4.1 Flash、Grok 4.7
  • 想像力:Muse Spark 1.3、Claude Opus 5.5、GLM-5.3
  • スロップ:Llama 4 Maverick、GPT-4o、K2 Horizon
室谷室谷代表取締役
スロップは「高いほど悪い」指標なので、ここに名前が挙がるのは水増しが多いという意味です。Claude Fable 5.1は表現力・情報量・透明性・温かみ・信念の5指標で上位に入っていて、万能型に見えますね。
テキトー教師テキトー教師DotAI 認定講師
一方で構成力や想像力では別のモデルが上位に来ている。単一の「最強モデル」ではなく、指標ごとに得意分野が分かれているのがこのベンチマークの面白さです。
室谷室谷代表取締役
伝達特性の結果も具体的です。長さではQwen3.8 27Bが1応答あたり平均約1,030語で、GPT-6 Lunaの270語のほぼ4倍。

構造ではNemotron 3 Ultraが1応答あたり平均で表をほぼ3つ使う一方、多くのモデルはほとんど使わない。
テキトー教師テキトー教師DotAI 認定講師
句読点ではGLM-5.3が1応答あたり平均7つのエムダッシュを使うのに対し、Claude Opus 5.5、Sonnet 5.5、Haiku 5.5はほとんど使わない。強調ではK2 Horizonが1応答あたり平均2つ以上の絵文字を使う一方、多くのモデルはほぼ使わない、と。
室谷室谷代表取締役
こういう数字は実際に触っていても「なんとなく」でしか分からないので、定量化される価値は大きいですよね。

スロップ指標が示す「中身のない水増し」の多いモデル・少ないモデル

テキトー教師テキトー教師DotAI 認定講師
スロップは特に掘り下げたい指標です。定義は「中身を損なわずに削れる定型句やAI的な水増し表現の多さ」。

低いほど良い、と。
室谷室谷代表取締役
30問しかない最小の指標ですが、その分シンプルに「水増しの傾向」を測っているわけです。
テキトー教師テキトー教師DotAI 認定講師
公式ページでは、現在評価されている全モデルの中でスロップが最も高いモデルと最も低いモデルが示されています。上位(水増しが多い)がLlama 4 Maverick、GPT-4o、K2 Horizon。
室谷室谷代表取締役
逆にClaude Opus 5.5はSlopが−1.0σ、Claude Fable 5.1は−0.9σ、GPT-6 Astraは−1.2σと、いずれも平均より下、つまり水増しが少ない側に位置しています。
テキトー教師テキトー教師DotAI 認定講師
これは実務で効いてくる話ですよ。同じ内容なら短くまとめてくれるモデルの方が、読む側のコストが下がる。

講座でも「長い回答=良い回答ではない」と伝えていますが、それが数値で裏付けられた形です。
室谷室谷代表取締役
スロップが高いモデルは、一見丁寧に見えても実は中身が薄い可能性がある。逆にスロップが低いモデルは、そっけないと感じることもあるかもしれませんが、情報密度は高い。

用途次第で使い分ける話ですね。

AA-PersonalityBenchの評価手法と限界——LLM審判・Elo・公開範囲

テキトー教師テキトー教師DotAI 認定講師
手法を整理しましょう。まず質問は特性ごとに30問、計900問。

一部は特性を穏やかに促すもの、一部は中立的なもの。全問はベンチマーク汚染を避けるため非公開で、少数の例題だけ公開されています。
室谷室谷代表取締役
回答は各モデルが各質問に1回だけ、システムプロンプトなしの単一ユーザーメッセージで答える。だから「素のデフォルト挙動」が見えるわけです。
テキトー教師テキトー教師DotAI 認定講師
審判団はGemini 3.8 Flash(high)、Claude Sonnet 5.5(medium)、GLM 5.3 Flash(max)の3モデル。各比較は1人の審判に割り当てられ、モデルごとに均等に振り分けられます。

回答の提示順もランダム化して位置バイアスを避けています。
室谷室谷代表取締役
判定はFirthペナルティ付きのBradley-TerryモデルでEloに変換。引き分けは両者0.5勝として扱われます。

Elo差400ポイントで10対1のオッズになるスケールです。
テキトー教師テキトー教師DotAI 認定講師
GPT-6.1 Sol(max)を全特性でElo 1000のアンカーモデルに固定し、他モデルより多くサンプリングして安定させている。信頼区間は1,000回のブートストラップで算出しています。
室谷室谷代表取締役
指標への集約は、各特性のEloをzスコア化して平均し、1〜100のパーセンタイルに変換する。透明性ではお世辞的特性が反転される、という流れです。
テキトー教師テキトー教師DotAI 認定講師
ここで限界も押さえておきたいです。第一に、これは能力ベンチマークではない。

スコアは「どう書くか」であって「正しいか」ではない。第二に、特性は良い・悪いではなく「顕著さ」を測っている。

聴衆によって肯定的にも中立的にも否定的にもなり得るからです。
室谷室谷代表取締役
第三に、全問非公開なので外部で完全な再現はできない。公開されているのは例題5問だけです。

第四に、審判がLLMである以上、審判自身のクセも影響し得る。そこは3モデルのパネルと割り当ての均等化、順序ランダム化で緩和している、という設計です。
テキトー教師テキトー教師DotAI 認定講師
あと、質問はすべて英語です。伝達特性の単語数カウントでは中国語・日本語・韓国語の1文字を1語として数える仕様が明記されていますが、質問自体は英語なので、日本語での挙動がそのまま反映されるわけではない点は注意が必要です。
室谷室谷代表取締役
データセットやコードの公開については、公式ページにGitHubやHuggingFaceへの導線は示されていません。現時点では明らかにされていません。
テキトー教師テキトー教師DotAI 認定講師
既存のパーソナリティ系ベンチマークとの違いも気になるところですが、今回の発表資料には他ベンチマークへの言及はありません。そこは現時点では明らかにされていません、と正直に伝えるのが正確です。
室谷室谷代表取締役
ただ、Artificial Analysisの評価群が「総合知能」から「用途適合」へ広がっている流れは確かにありますよね。Intelligence Indexが数学・科学・コーディングなど10評価の合成であるのに対し、こちらは性格と文体。

補完関係にあると思います。

よくある質問

室谷室谷代表取締役
最後に、よく聞かれそうな点を整理しておきます。
テキトー教師テキトー教師DotAI 認定講師
まず「AA-PersonalityBenchとは何を測るベンチマークですか?」。答えは、言語モデルの性格(30特性→8指標)とコミュニケーションスタイル(21特性)です。

正しさではなく、書き方・応答の傾向を測ります。
室谷室谷代表取締役
「料金はかかりますか?」。公式ページ上に利用料金の記載はなく、現時点では明らかにされていません。

結果の閲覧や自分好みのランキング作成はページ上で提供されています。
テキトー教師テキトー教師DotAI 認定講師
「日本語には対応していますか?」。質問はすべて英語で実施されています。

伝達特性の単語数カウントには中日韓の文字を1語として数える仕様が定義されていますが、日本語版の質問セットが提供されているかは現時点では明らかにされていません。
室谷室谷代表取締役
「データセットやコードは公開されていますか?」。全900問はベンチマーク汚染を避けるため非公開で、例題5問のみ公開。

コードやデータセットの公開先は公式ページに示されておらず、現時点では明らかにされていません。
テキトー教師テキトー教師DotAI 認定講師
「スコアが高いモデルが優れているのですか?」。いいえ。

特性は良い・悪いではなく顕著さを測るもので、用途によって望ましさが変わります。だからこそ重み付け機能があるわけです。
室谷室谷代表取締役
「スロップは高い方が良いのですか?」。逆です。

スロップは中身を損なわずに削れる水増し表現の多さを測る指標で、低いほど良いとされています。
テキトー教師テキトー教師DotAI 認定講師
モデル選びの基準が「賢さ」だけではなくなってきた。この発表はその流れを象徴していると思います。

受講生さんにも「自分の用途で何が大事か」を先に言語化してからランキングを見ることを勧めたいですね。
室谷室谷代表取締役
そうですね。正答率では見えない差を可視化する。

使う側にとっては、モデル選びの解像度が一段上がる発表なんですよね。

Related

関連記事

New Articles

新着記事

ガイド

Grokの読み方は「グロック」か「グロク」か?公式回答と会社名・料金の最新事情

2026年11月18日
室谷テキトー教師
ガイド

GoogleのAIモードとAIによる概要の消し方|公式オフ機能の有無とPC・スマホの回避策

2026年11月18日
室谷テキトー教師
ガイド

Azure OpenAI Serviceとは?料金・モデル一覧・データの扱いを最新情報で整理

2026年11月18日
室谷テキトー教師
ニュース

Perplexityの「Orchestrator API」とは?45以上のモデルを1つのAPIキーに統合

2026年11月18日
室谷テキトー教師
ニュース

Microsoftの「Copilot Workspaces」とは?人とエージェントが協働する新体験

2026年11月18日
室谷テキトー教師
ガイド

Geminiのファミリープランは何人まで?Google AI Proを家族で割る料金と設定の手順

2026年11月18日
室谷テキトー教師
ニュース

Microsoft MAIとは?Ignite 2026で発表の7モデルと料金

2026年11月18日
室谷テキトー教師
ニュース

Replit Missionsとは?エージェントスウォームで目標達成型の自律実行

2026年11月18日
室谷テキトー教師
ニュース

Copilot Fusion Maxとは?Terminal-Bench 4.1首位の自動モデル選択

2026年11月18日
室谷テキトー教師
ニュース

Googleの「Gemini Tasks」とは?日本でも無料開始、Gemini 4 Hydrogen搭載

2026年11月18日
室谷テキトー教師

Join

AIプレナーになる。

入会は審査制です。いまの事業と、AIで何を動かしたいのかを聞かせてください。

参加を申請する