【AI研究】
AIがAIの「頭脳」を書き換えて直せる?
(重み空間プログラミング)

  • MITの研究者らが、OpenAIの「GPT-6 Astra」に、別のAIモデルの「重み」を読ませたり書かせたりする実験を発表しました。
  • 本来、AIモデルの調整には強化学習が必要でしたが、Astraは小さなAIモデルの内部データの数値を見て「何のゲーム用に学習したモデルか」を当てたり、ゲームを遊ぶモデルの重みをゼロから書いたりできた、というのです。
  • この手法は、「Weight-Space Programming(重み空間プログラミング)」と名付けられました。
  • 特に、話題になったのは、小型のAI「Qwen3.5-0.8B」に数学の問題を解くときに考え続けて答えを出せなくなる「思考のループ」の癖があったものを、その重みを0.016%だけ書き換えて直し、数学の正答率を7.9%から48.1%に上げた実験です。
  • ただし、この実験では、AstraがAIの中身を直接理解して書き換えたと言うのではなく、Pythonでモデルを動かしながら作業して、有効な結果を探索しています。

関連記事

1. AIは別のAIの「脳内」を直接書き換えられる?

SNSで「AIがモデルの中身を直接書き換えてチューニングした」というニュースを見かけました。

Rikiya Takehi氏のXの投稿。GPT-6 AstraにQwen3.5-0.8Bの重みを編集させ、0.016%を変えて数学を最大6倍にしたと書かれている

小さなAIに数学の問題を解かせると、同じ考えを延々と繰り返して答えが出ない。
そこで、研究者が最先端のAIである「Astra」に「Qwenを修正してくれない?」と丸投げしたら、Astraがモデルの中身を見て「この辺が故障してますね」と直接いじって直してしまった、という内容です。

これまで、人間にとってAIモデルの重みの中身はまったく理解できず、「AIの中身はブラックボックス」だったのに、いつの間にかAIはAIの中身をいじれるようになっていたのです。
これが一般化すれば、AIが自分の重みを直接直せるように、再帰的に自己改善ができることを予感させます。

もし、AIの中身が「ブラックボックス」ではなく読めるようになったのだとしたら、大きな進歩です。
実際には、具体的に何ができるようになったのでしょう。

1.1. ニューラルネットワークと「重み」

ChatGPTのような現在の生成AIの「中身」は、プログラムの命令文ではありません。

1.1. ニューラルネットワークと「重み」

生成AIは、「ニューラルネットワーク(neural network:神経回路網)」という仕組みでできていて、
入ってきた数値に、決まった係数を掛けて足し合わせ、それを次の段に渡す、という計算を何段も重ねたものです。
この係数のことを「重み(weight:ウエイト)」と呼びます。

たとえば、文章を扱うAIでは、入力された文字を数字の列に変え、何十段もの掛け算と足し算を通して、次に来そうな文字を選びます。
どの数字にどれだけの重みを掛けるかで、出てくる答えが変わります。

つまり、AIモデルの中身は、数値を並べたもので表現されています。
モデルの名前に付いている「0.8B」や「70B」の「B」は、10億(billion)のことで、重みの数を表していて、たとえば、話題になった「Qwen3.5-0.8B」は、中国のアリババが公開している小型のモデルで、およそ8億個の数値で表現されている、というわけです1。

1.2. 重みの「意味」は読み取れない

生成AIの重みの値は、人間が一つずつ入力して決めたものではありません。

最初はでたらめな値から始めて、大量の例を見せ、間違えた分だけ正解に近づく向きへ少しずつ値をずらしていきます。
この「どちらの向きにずらせば間違いが減るか」を表すのが「勾配(gradient:こうばい)」で、勾配に沿って何度も値を直していく作業が「学習」です。

そのため、出来上がった重みを並べて見ても、人には何が書いてあるのか分かりません。
ある重みが「数字の計算」に効いているのか、「言葉づかい」に効いているのか、値を見ただけでは読み取れないわけです。
AIの中身が「ブラックボックス」と言われるのは、このためです。

ちなみに、重みを読み解いてAIの内部で何が起きているかを調べる研究は、以前からあります。
「機械論的解釈可能性(mechanistic interpretability)」と呼ばれる分野で、たとえば文章を扱うAIの中に、前に出てきた語の並びをそのまま写し取る「コピー」の役目を持つ部品があることなどが見つかっています2。
ただ、こうした調べ方は、研究者が仮説を立て、専用の道具を作って、一つずつ確かめていく地道な作業でした。

2. GPT-6 Astraの「重み空間プログラミング」

2. GPT-6 Astraの「重み空間プログラミング」

元の研究は、MITの「CSAIL(計算機科学・人工知能研究所)」のRikiya Takehi氏、Jayden Teoh氏、Alex Zhang氏、Omar Khattab氏によるもので、2026年11月2日に「Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights」という題でブログに公開されました3。
題を訳すと、「大規模言語モデルは、ニューラルネットワークの重みをそのまま読み書きできる」です。

実験に使われたのは、OpenAIが2026年9月に出した「GPT-6 Astra」です4。
著者らは、学習(勾配を使った値の調整)をさせずに、Astraが重みを見て、言葉で考えて、直接値を書くことを「Weight-Space Programming(重み空間プログラミング)」と呼んでいます。
ブログには8つの実験が載っていて、重みを「読む」ものと「書く」ものに分かれます。

2.1. 重みを見て何のために学習したモデルかを当てる

最初の実験では、「ブロック崩し」「Pong」「パックマン」「Freeway」の、4つのゲームを遊ぶように学習させた小さなモデルを用意しました。
どれも同じ形で、重みは17,253個です。

Astraには、ゲームの名前を伏せ、画面のマス目の並び方と操作の種類だけを教え、重みの値を文字として渡しました。

すると、Astraは4つとも、どのゲームのモデルかを言い当てました。
たとえば、ブロック崩しのモデルでは、最初の段の重みが画面の一番下の列に集まっていることから、下でパドルを動かすゲームだと読んだそうです。

ほかにも、Python、ローマ字、英語の文章でそれぞれ学習させた小さな言語モデルを、入口と出口の層を外した真ん中の部分だけ渡して、何の言語で学習したかを当てる実験もありました。
Astraは3つとも正解し、言い当てています。

一方で、うまくいかなかった読み取りもあります。
同じように学習させた2つのモデルのうち、どちらが利用者の意見に流されて答えを合わせる「おべっか(sycophancy)」の癖を持っているかを当てる実験では、重みだけを見た4回の挑戦はすべて外れました。
ただ、Astraが自分で書いた文章を入れたときのモデル内部の注目の向きを見られるようにすると、当てられるようになりました。

2.2. 重みをゼロから書いて、ゲームを遊ばせる

反対に、モデルを直接「書く」実験も行われました。

すべての重みが0のモデルを用意し、Astraにはゲームのルールとプログラムのソースコードだけを渡して、ブロック崩しなど3つのゲームを遊ぶモデルの重みを、1回の返答で書かせています。
実際にゲームを遊ばせて結果を試すことは、許していません。

Astraの書いた重みで動かしたモデルと、従来の方法で学習させたモデルで、ゲームで獲得した点数を比較してみました。

ゲーム従来の学習(1億回)従来の学習(5億回)Astraが書いた重み
ブロック崩し15.825.3517.4
Seaquest5.688.953.1
Asterix25.855.253.2

ここでの、「従来の学習」は、「PPO(Proximal Policy Optimization)」という強化学習の方法で、ゲームを1億回、5億回と繰り返し遊ばせて学習させたモデルです。

すると、ブロック崩しでは、Astraが書いた重みが5億回学習したモデルの約20倍の点を取りました。
著者らによると、Astraは最初の段で「ボールがどこに落ちるか」を計算させ、次の段で「パドルをそこへ動かす」ように重みを組んだそうです。
ただ、残りの2つのゲームでは、5億回学習したモデルには届きませんでした。

ほかに、ジャンプ台を越えられずに止まってしまう車の自動運転のAIモデルを直す実験もありました。
10億回学習しても、256回の挑戦で一度も成功しなかったモデルです。
Astraは、重みと場面の説明と、失敗した1回の記録を見て原因を説明し、重みの3.5%を書き換えました。
直したあとのモデルは、1,024回の挑戦すべてで成功しています。

2.3. Qwen3.5-0.8Bの「思考のループ」を直す

そして、いちばん話題になったのが、最後の実験です。

Qwen3.5-0.8Bには、答える前に考えを書き出す「思考モード」で動かすと、同じ考えを繰り返して止まらなくなる、という問題があります。
練習用の数学の問題では、最初の96問のうち85問で、答えが出ないまま上限の32,768トークンに達していました。
Qwenのモデルカードにも、この0.8Bのモデルはほかのモデルより「thinking loops(思考のループ)」に陥りやすく、生成がうまく終わらないことがある、と書かれています5。

そこで、Astraに、Qwenの重みを扱えるPythonの環境と、試験とは別の練習問題を渡しました。
強化学習は禁止で、モデルを実際に動かして答えを見られる回数は、10回、25回、50回の3通りに制限しています。
この試行回数の中で、Astraは、Qwenの思考ループの原因を、15層目と19層目が書き込んでいる「ある一つの向き」だと突き止め、その向きの成分を差し引くように重みを書き換えました。
変えた重みは131,072個ですが、これは全体の0.016%です。

修正したモデルで3種類の試験を解かせてみると、思考ループの割合を大きく減らすことができました。

Qwen3.5-0.8BMATH-500GSM8KIFEval上限に達した割合
元のモデル7.9%13.8%21.0%93.0%
10回まで動かせた場合12.3%25.7%49.0%87.2%
25回まで動かせた場合14.1%25.1%39.9%86.4%
50回まで動かせた場合48.1%67.1%62.3%33.1%

「MATH-500」と「GSM8K」は数学の問題集、「IFEval」は「500字以内で」「箇条書きで」のような指示にどれだけ従えるかを測る試験です。
50回まで動かせた場合、数学の正答率は約6倍、指示に従う力は約3倍になりました。
数学のために直したのに、指示に従う力まで上がったことを、著者らは修正がほかの作業にも効いた証拠として挙げています6。

3. ただ「AIがAIの中身を理解した」と言うにはまだ早い

3. ただ「AIがAIの中身を理解した」と言うにはまだ早い

3.1. AIが「ひと目で見抜いた」わけではない

ただし、この投稿には、Xの「コミュニティノート」が付いていました(11月5日の時点)。

「LLMは重みを文字としてプロンプトで受け取り、著者らの記録によるとコードとモデルの実行を使って、Qwenのループの向きを取り除いた。これはモデルカードにある既知の思考モードの問題で、主に直したのはそのモードでの繰り返しであり、重みや数学の力を一般に『そのまま』改善したわけではない。」

Takehi氏の投稿に付いたコミュニティノート。重みは文字としてプロンプトで渡され、コードとモデルの実行を使ってループの向きを取り除いたと書かれている

「コミュニティノート」は、利用者が誤解を招きそうな投稿に背景の説明を書き足し、立場の違う利用者からも役に立つと評価されたものが表示される仕組みです。

たとえば、「Astraがウエイトの中身を見ながら『あー、多分この辺が故障してますね~』と言って直した」と、AIが一目で見抜いたようにイメージしてしまいますが、それだと試行錯誤で解決した実験結果とズレがあります。
Qwenの実験では、Astraは実際にモデルを動かして答えを見ながら、Pythonで分析と書き換えを繰り返していました。
そして、動かせる回数が10回や25回というはじめのうちは、数学の正答率は12〜14%どまりでした。
48.1%まで上がったのは、50回まで試せた場合だけでした。

3.2. 解釈可能性分析の手法に近い

また、モデルの書き換えによって、直接数学の能力を高くなったわけではありません。

元のモデルの低い点は考えが止まらず、「時間切れ」になっていたことによるものです。
書き換えが改善したのは、この上限に達する割合でした。
つまり、数学の正答率が上がったのは、もともと解ける力があったのに、ループで答えを出せずにいた問題が、答えまでたどり着けるようになったからだと考えられます。

実験では、この点も確かめていて、ループの癖がほとんどない「Gemma 3 270M」という別の小型モデルで同じことを試したところ、MATH-500の正答率は6.8%から7.0〜7.7%と微増にしかなりませんでした。
つまり、「重みの編集は、能力を隠していた障害を取り除くことはできたが、モデルが持っていない能力を足すことはできなかった」ということです。

ちなみに、モデルの内部の「ある一つの向き」を差し引いて、特定の振る舞いを止めるやり方そのものは、これまでも見つかっています。
たとえば、2024年には、言語モデルが危険な質問への回答を断る振る舞いが、内部の一つの向きで決まっていて、その向きを取り除くと断らなくなる、という研究が発表されています7。
AIニュースの「Latent Space」の記事でも、Qwenの結果はこの種の「一つの向きを取り除く」手法に近く、「そのまま重みを読んだ」というより「LLMの手を借りた解釈可能性の分析」に近いのではないか、という読者の指摘が紹介されています8。

3.3. 小さなモデルでの結果

ほかにも、この研究の結果から、まだ言えないことがあります。

一つは、試したAIがGPT-6 Astraだけだということです。
ほかのAIでも同じことができるのか、たまたまうまくいった回を選んでいないか、何回やっても同じ結果になるのかは、まだ分かりません。
また、重みを文字として読ませるのにどれだけの量の文章を渡し、どれだけの費用や時間がかかったのかも書かれていません。

もう一つは、扱ったモデルの大きさです。
ゲームのモデルは重みが数万から数十万個、いちばん大きいQwenでも8億個です。
今のChatGPTやGeminiのような大きなモデルは、重みの数を公表していませんが、桁違いに多いと見られていて、同じやり方が通じるかは分かっていません。

4. AI活用でニューラルネットワークの解釈が進む

4. AI活用でニューラルネットワークの解釈が進む

ここまで見てくると、「AIがAIの中身を読めるようになった」という言い方は、少し行きすぎています。
この研究に新しいところはそうではなく、「ニューラルネットワークの解釈可能性の研究にAIが活用できる」ということです。

これまで、重みを読み解く研究は、研究者が仮説を立て、道具を作り、一つずつ確かめるものでした。
そこが、今回の実験では、それを「何のゲームのモデルか当てて」「数学ができるように直して」と言葉で頼むだけで、Astraが仮説を立て、分析のコードを書き、重みを書き換えるところまで進めています。
言語のモデルのコピーの部品を見つけたときも、Astraは研究者が教えていない、解釈可能性の分野で知られた分析の方法を自分で使っていたそうです。

つまり、この結果を端緒として、解釈可能性や、ニューラルネットワークの最適化の分野を大きく変わることになるかもしません。
そして、もし、大きなモデルでも同じことができるようになれば、AIモデルに仕込まれた不正な仕掛けを重みから探したり、学習し直さずに困った癖だけを取り除いたりする使い道が考えられます。
「再帰的自己改善」、AIが自分自身を改良し、改良されたAIがさらに自分を改良していく、という考え方です。

ただ、現在のところ、今回の実験では、大きなAIが小さな別のAIを直したもので、AIが自分の重みを書き換えたわけではありません。
この研究で確かめられたのは、小さなAIの、すでにモデルカードにも書かれていた一つの癖を、50回までの試行の中で取り除けたところまでです。

  1. Qwen3.5-0.8BはQwenチームがHugging Faceで公開しているモデルで、モデルカードには隠れ層の次元が1024、層の数が24と書かれています。 – Qwen/Qwen3.5-0.8B(Hugging Face)
  2. Anthropicの研究者らは2022年の論文で、前に出た語の並びを見つけて次の語を写し取る注意機構の部品を「induction head(帰納ヘッド)」と名付け、文脈の中での学習を支える仕組みの一つとして報告しています。 – In-context Learning and Induction Heads(arXiv)
  3. ブログは論文誌や学会での査読を経た発表ではありません。著者らは結果を「very early(ごく初期の)」ものと書いています。 – Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights
  4. OpenAIは2026年9月3日にGPT-6 Astraを発表し、APIでは「gpt-6-astra」の名前で提供しています。 – OpenAI GPT-6 Astra: Price, Benchmarks and Access(DataNorth)
  5. Qwen3.5-0.8Bのモデルカードは、思考モードについて、推奨の設定でもほかのQwen3.5のモデルよりthinking loopsに入りやすく、生成が正しく終わらないことがあると説明しています。繰り返しを減らすには「presence_penalty」を0〜2の間で調整するよう勧めています。 – Qwen/Qwen3.5-0.8B(Hugging Face)
  6. ブログによると、評価は思考モードをオンにし、温度0.6、top-p 0.95、top-k 20、presence penalty 1.5で行い、元のモデルと書き換えたモデルを同じ設定で比べています。なお、モデルカードが思考モードの文章の作業に勧めている温度は1.0です。 – Sparks of Weight-Space Programming
  7. Arditi氏らは、13のオープンなチャットモデルで、回答を拒否する振る舞いが内部の表現の一つの向きで媒介されていて、その向きを重みから取り除くと拒否が止まることを示しました。 – Refusal in Language Models Is Mediated by a Single Direction(arXiv)
  8. Latent Spaceの記事は、この研究を大きな発見として取り上げる一方、Redditでの指摘として、Qwenの結果が拒否の向きを取り除く研究に似た一方向の除去であることや、7.9%という出発点がループによるものであることを紹介しています。 – LLMs can read & write neural network weights(Latent Space)