モデル
OpenAIのGPT-6 AstraのARC-AGI-3評価
原題: OpenAI's GPT-6 Astra on ARC-AGI-3
評価条件によって62.7%と99.9%
ARC Prizeは2026年9月3日、OpenAIのGPT-6 AstraをARC-AGI-3で検証した結果を公表しました。
ARC-AGI-3は、説明のない抽象的な環境を探索し、規則と目標を推定して行動する能力を測る対話型ベンチマークです。
提供元に依存しないStandard harnessでは、max reasoningの半非公開セット得点が62.7%、評価費用は26,098ドルでした。
この条件では、モデルが残すと決めた可視のメモだけを環境をまたいで引き継ぎます。
一方、OpenAI向けのProvider Adapter harnessでは、high reasoningが99.9%、評価費用は18,817ドルでした。
Provider Adapterはリクエスト間で非公開の推論状態を保持し、長い会話をcompactionして再利用するため、Standard harnessとは評価条件が異なります。
ARC Prizeは、両条件の結果を分けてリーダーボードへ掲載しています。
Provider Adapterのmax reasoningは、完了したレベルの96.0%で人間の中央値より少ない行動数となり、1レベル当たりの行動数は平均51.7%少なかったと報告されました。
人間の基準値は、一般参加者約500人のうち各レベルを完了した人の行動数中央値です。
再生記録では、Astraが環境を記号的な規則へ整理し、独自の短縮表記で状態と計画を管理する様子も確認されました。
ARC Prizeは、結果を汎用化の進展と評価する一方、対象が決定論的で閉じた環境に限られ、AGIを証明するものではないと明記しています。
これは独立した評価結果の公開であり、GPT-6 Astraの料金、対象プラン、APIやChatGPTでの提供条件を変更する発表ではありません。