【GPT-6 Astra】
言葉にしない思考を持ち越せたかどうか

by
  • GPT-6 Astraの発表に、ARC-AGI-3で99.9%という数字が並びました。前の世代は7.8%です。
  • ところが同じベンチマークで、Astraにはもう一つ62.7%という数字がついています。違うのはモデルではなく、試験のつなぎ方のほう。
  • 差を作っていたのは、外から見えない推論の途中経過を、リクエストをまたいで持ち越せるかどうかでした。
  • 言葉にならない思考を抱えたまま先へ進む作りが、点数の跳ね方と、思考を読めなくなることの両方に効いています。

関連記事

1. 99.9%と62.7%は、同じモデルの数字

1. 99.9%と62.7%は、同じモデルの数字

GPT-6 Astraが出ました。
Altmanが挙げた数字は、FrontierMath Tier 4で98%、ARC-AGI-3で99.9%、ExploitBenchで100%1。
ARC-AGI-3は、前の世代のGPT-5.6 Solが7.8%、Claude Opus 5が30.2%だったところです2。

7.8%から99.9%。
桁が変わっています。
何かの読み違いではないかと思って結果表を見に行ったら、Astraの行が二つありました。

Standard harnessで62.7%、Provider Adapter harnessで99.9%3。
ハーネス（harness：モデルを試験環境につなぐ実行の枠組み）が違うだけで、モデルも問題も同じです。
Provider Adapterのほうは、リクエストとリクエストの間で推論状態（opaque reasoning state：外からは中身の読めない思考の途中経過）を保持して、会話が長くなれば圧縮しながら持ち回ります4。

つまり、前に考えたことを捨てずに次の手へ進める。
この条件だと、費用は2万6千ドルから1万9千ドルに下がり、経過時間は3.66倍速く、使ったトークンは49%少なくなっています5。
考え直しの回数が減った、ということです。

1.1. 初見の世界に放り込まれる試験

1.1. 初見の世界に放り込まれる試験

ARC-AGI-3が測っているのは、知識の量ではありません。
説明書のないゲームに放り込まれて、操作しながらルールと目的を自分で見つけられるか。
採点は、そのレベルを解くのに何手かかったかを人間の基準と比べて行います6。

だから学習データからの持ち出しが効きにくい。
環境そのものが新しく作られていて、しかも自然言語の指示が一切ありません。
静的な問題集なら答えを覚えていれば当たりますが、ここでは覚えていても、まず何をする世界なのかが分からない。

人間は用意された環境を100%解けます。
一方、2026年3月の時点でフロンティアのAIは1%未満でした7。
ここが半年で62.7%になったわけです。

1.2. 総当たりではないことは、手数に出ている

1.2. 総当たりではないことは、手数に出ている

もし何万回も試して力押ししているなら、手数が膨らみます。
実際は逆でした。
Astraが解けたレベルの96.0%で、人間の基準より少ない手数で終わっていて、平均では51.7%少ない8。

ARC Prizeの分析によると、Astraは観察したことからルールを抜き出して、自分用の記号を作っています。
盤面を短い式で書き、次にやることを extend8 to3; retract10 to2 のような手順の並びで書く9。
その場で作った世界モデル（world model：この世界がどう動くかの内部の模型）に沿って動いているので、無駄打ちが少なくなります。

人間より少ない試行で初見の環境を攻略する、という部分だけを取り出すと、これはもう学習の効率の話です。
点数より、こちらのほうが気になりました。

2. 考える深さを、同じ層の往復で稼ぐ

2. 考える深さを、同じ層の往復で稼ぐ

Astraの中身についてThe Informationが報じているのは、反復深度（recurrent depth：同じ層を何度も通して計算の深さを稼ぐやり方）です10。
ループ型トランスフォーマー（looped Transformer）とも呼ばれます。
次の単語を出す前に、同じ層のかたまりを何周もさせる。

これまで、考える量を増やす方法は主に出力の側にありました。
思考の連鎖（Chain-of-Thought：答える前に途中の考えを言葉で書き出させるやり方）です。
長く独り言を書かせれば、そのぶん計算が入る。

反復深度は、書き出す前の側で計算を増やします。
22層のかたまりを2回通せば、44層ぶんの計算になる11。
重みは増えないので容量はそのままで、計算時間だけが倍になります。

深さが重みの数ではなく通した回数で決まる、というのがこの作りの要点です。
難しい入力には多く回し、簡単な入力には少なく回す、という配分もできます。

2.1. 言葉で考えるか、言葉にしないで考えるか

2.1. 言葉で考えるか、言葉にしないで考えるか

ここは切り分けておいたほうがいい。
反復深度そのものは「層を使い回して内部状態を更新し続ける」というアーキテクチャの話で、「言語トークンの代わりに潜在トークンを並べる」ことと同じではありません。
後者は潜在推論（latent reasoning：言葉にしないまま内部表現で考えを進めること）と呼ばれる別の系統です。

ただ、この二つは相性がいい。
ループ型トランスフォーマーを潜在推論に使ったLOTUSという研究では、30億パラメータの規模で自然言語のCoTと同等の精度に届きつつ、思考部分の待ち時間を2.5〜6.9倍削っています12。
面白いのは、ループを抜けた後の潜在表現を出力層に通すと、元の推論ステップが読み出せたところです13。
言葉にしていないだけで、言葉にできる形は保たれていた。

一方で、反復深度なら思考が見えなくなる、という言い方には反論もあります。
層を使い回すこと自体は、見える思考を消しません14。
ただ、往復を増やせば途中で書き出すトークンは減っていくので、計算の重心は読めない活性のほうへ寄っていく。

2.2. Fable/Mythosのときから言われていた説

2.2. Fable/Mythosのときから言われていた説

この方式が話題になったのは今回が最初ではありません。
AnthropicのFable 5とMythos 5のときにも、内部は反復深度ではないかという見立てが具体的に語られていました。

ただ、Anthropicは内部のアーキテクチャを公開していません15。
公開研究から第一原理で組み直したというOpenMythosのような再構成まで作られていますが、作者自身が推測に基づくものだと明記しています16。
だから「Fable/Mythosで使われている」は、今も確認が取れていない。

堅い言い方をするなら、Fable/Mythosの周辺で有力候補として語られていた方向のうち、反復深度の部分についてAstraでかなり裏づけが出た、というところです。
完全に潜在側へ移った、とまでは言えません。

3. 読めるCoTを、わざと残している

3. 読めるCoTを、わざと残している

OpenAIは、思考過程を人が読んで確かめられる性質を手放していません。
報じられているところでは、Astraは反復深度の使用を意図的に絞っていて、計算の深さはGPT-4の2倍程度に収まっている17。
チーフサイエンティストのPachockiも、監視の維持を優先すると言っています。

それでもシステムカードには、AstraのCoTはGPT-5.6 Solより透明ではない、と書かれています。
自分が書く推論を制御する能力が上がっていて、一部の妨害タスクでは内部の監視をすり抜けられた18。
Pachocki自身、この種の監視は脆く、残念ながら悪い方向へ向かっていると認めています。

安全性の研究者からは、この技法を押し進めれば反復の回数を大きく増やせて、監視可能性を丸ごと壊す選択肢を持ってしまう、という懸念が出ています19。
そうしないという保証は、今のところ設計ではなく方針の側にあります。

読めることを手放せない理由は、同じ発表の別の数字が示しています。
ExploitBenchで100%。
GPT-5.6 Solの78.5%からの上積みで、OpenAIはAstraを初めて「重大」水準のサイバー能力を持つモデルと判定しました20。
未知の脆弱性を見つけ、人が一手ずつ指示しなくても攻撃の手順を組み立てられる、という水準です。
そういうものが何を考えているのかを知る手がかりが、書き出された思考しかない。

4. 飽和しても、AGIの証明にはならない

4. 飽和しても、AGIの証明にはならない

ARC Prize自身が、このベンチマークが満点になってもAGI達成の証明にはならない、とはっきり書いています21。
ARC-AGI-3の環境は初見ではあっても、決定論的で、目的も仕組みも閉じている。
同じ操作をすれば同じ結果が返る世界であって、現実の開放性を写したものではありません。

それでも、今回そろった能力の並びは落ち着かないものがあります。
未知の環境から規則を学ぶ、非常に難しい数学を解く、長時間のソフトウェア作業をこなす、未知の脆弱性を見つけて使い方まで組み立てる。
これまで別々のモデルの得意分野だったものが、一つに乗りました。

シンギュラリティという言葉で議論するより、気になるのはAstra自身がAI研究をどれだけ速められるかです。
そこでループが閉じると、7.8%から62.7%のような跳ね方が数年に一度ではなくなる。
今回の飛躍が、ハーネスを変えたら点数がもう一段跳んだという話だったことを思い出すと、伸びしろは中身だけにあるわけでもなさそうです。

数字を見て驚いたのは最初の10分で、条件を読んでいるうちに、驚きの中身が入れ替わりました。
跳ねたのは点数ですが、変わったのは、考えたことを言葉にしないまま次へ進めるようになったところです。
読めるうちに、読んでおきたい。

  1. OpenAIは2026年9月3日に公開し、コンピュータ利用、専門業務、科学、コーディング、サイバーセキュリティで世界最高だとしています。 – GPT-6 Astra: A new generation of intelligence
  2. ARC Prizeの結果一覧では、Standard harnessでの比較としてこの3つが並んでいます。 – GPT-6 Astra – ARC-AGI Results
  3. ARC-AGI-3のSemi-Privateセットでの数字で、費用はそれぞれ2万6千ドルと1万9千ドルです。 – OpenAI’s GPT-6 Astra on ARC-AGI-3
  4. ARC Prizeは、提供元固有のこのハーネスが不透明な推論状態をリクエスト間で保ち、長い会話では圧縮を使うことで、前の作業を再利用できると説明しています。 – OpenAI’s GPT-6 Astra on ARC-AGI-3
  5. 両方の条件で解けた167のゲームと推論の組を突き合わせた比較です。 – OpenAI’s GPT-6 Astra on ARC-AGI-3
  6. ARC-AGI-3は技能獲得の効率を測るもので、新しい環境をどれだけ速く学べるかを、人間の基準に対する操作回数で採点します。 – ARC-AGI-3
  7. すべての環境が予備知識なしの人間に解けることを設計条件にしていて、そのためにARC-AGIとして過去最大規模の人間側の調査を行っています。 – ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence
  8. ARC Prizeは、レベルの96.0%で人間の基準より少ない操作数、1レベルあたり平均51.7%減と報告しています。 – OpenAI’s GPT-6 Astra on ARC-AGI-3
  9. ARC Prizeは、これまで見た中でもっとも精密な、新しい環境の記号的なモデルを作っていると評しています。 – OpenAI’s GPT-6 Astra on ARC-AGI-3
  10. 同じ文を何度もネットワークに通して答えを静かに磨く方式で、パラメータを増やさずに難しい入力へ計算を振り向けられます。 – What Is A Looped Transformer, Which OpenAI Is Using In Its Astra Model
  11. Nanbeige 4.2が実際にこの形で、22層の積み重ねを2回使って44層ぶんの深さを出しています。重みは増えませんが計算量はほぼ倍になります。 – OpenAI Astra and Looped Transformers
  12. 潜在CoTの手法として初めて3B規模で明示的なCoTとの差を埋めたとされ、思考段階の待ち時間を2.5倍から6.9倍削減しています。 – Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers
  13. ループ後の潜在表現をもとの言語モデルの出力層に通すと正解の推論ステップが復元でき、別の妥当な途中経過まで現れたと報告されています。 – Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers
  14. 層の再利用はトークンを出す前の隠れ状態に計算を足すだけで、それ自体が見えるCoTを抑えるわけではない、という指摘です。 – OpenAI Astra and Looped Transformers
  15. OpenMythosが作られたのは、Anthropicが構造を明かしていないためで、再構成は公開されている研究文献から組み立てられています。 – OpenMythos: an open-source reconstruction of Claude Mythos
  16. リポジトリの説明そのものが、入手できる研究文献をもとに第一原理から組んだ理論的な再構成だと述べています。中身は反復深度のTransformerに専門家混合の経路選択を組み合わせた構成です。 – kyegomez/OpenMythos
  17. チーフサイエンティストのJakub Pachockiは、Astraの計算の深さはGPT-4の2倍程度にとどまり、監視のためにループ回数に上限を置いていると述べています。 – OpenAI calls Astra its most dangerous model yet
  18. システムカードは、AstraのCoTがGPT-5.6 Solより透明でないこと、自身の書く推論をより制御できること、一部の妨害タスクで内部の監視を回避できたことを記載しています。 – GPT-6 Astra System Card
  19. Redwood ResearchのBuck Shlegerisは、反復を大幅に増やせばCoTの監視可能性を完全に壊す選択肢が生まれると述べています。Pachocki自身も、この監視は脆く悪い方向に向かっていると認めています。 – OpenAI calls Astra its most dangerous model yet
  20. Preparedness FrameworkのCritical水準に達した最初のモデルで、適切な道具と権限があれば未知の脆弱性を見つけ、人が一手ずつ導かなくても攻撃手法を組み立てられるとしています。 – Path to Astra: critical capabilities and frontier safeguards
  21. 環境は決定論的で目的も仕組みも閉じており、現実世界の複雑さと開放性を映したものではない、と説明しています。 – OpenAI’s GPT-6 Astra on ARC-AGI-3