AIはなぜ「大切な禁止事項」を忘れるのか

1. Transformerには「重要フラグ」がない

「AIは『人を傷つけてはいけない』も『ゴミ出しは火曜日』も、同列に扱っているのではないか」という話を目にしました¹。
確かに、実際、長い会話の後半でAIが序盤の制約をすり抜けたり、念押しした条件が出力に反映されなかったりする経験は珍しくありません。

現代のAIの多くは、Transformerと呼ばれるアーキテクチャを使っています。

2017年にGoogleが発表した論文「Attention Is All You Need」が起点で、GPTもClaudeもこの設計の延長線上にあります。²

Transformerの核心は、self-attentionという機構です。
テキストを処理するとき、各トークンという単語のかけらが、他のすべてのトークンとの関係を数値として計算し、互いの表現を更新し合います。
「この文脈ではこの単語が重要」という判断を、その都度動的に行う設計です。

この設計には、「この規則は絶対に最優先」という専用のスロットが存在しません。
道徳的禁止事項も、会議の日程も、ゴミ出し曜日も、処理の入り口では同じテキストとして入ってきます。

確かに、アーキテクチャ上、倫理的内容を特別扱いする固定の仕組みは組み込まれていないのです。

したがって、長い文脈の中では、情報の位置によって取りこぼしが起きやすいという問題もあります。

スタンフォード大学などの研究では、モデルに長い文書を渡したとき、先頭と末尾の情報は比較的参照されやすく、中間に置かれた情報の利用率が下がることが示されています。
この現象は「Lost in the Middle」と呼ばれています。³

「重要な約束をしたのに、後半で無視された」というのは、モデルが悪意を持っているわけでも、命令を理解していないわけでもありません。
その命令に十分なattentionが割り当てられなかった結果です。
意味の重みではなく、処理の構造の問題といえます。

ただ、実際のLLMは、そこまで単純でもありません。
Transformerのアーキテクチャだけで動いているわけではないからです。

たとえば、学習の後半フェーズで、人間のフィードバックをもとに応答を調整するSFTという教師あり微調整や、RLHFという強化学習が加わります。
システムプロンプトや実行時のガードレールも挙動に影響します。

これらの後付け設計により、安全に関わる内容には強く反応し、有害な出力を避けるパターンをモデルは学習できます。
つまり、「アーキテクチャに倫理の階層がない」ことと「挙動として優先順位が出ない」ことは、別の話です。

この問題は研究者や開発者も認識しており、対策が進んでいます。

OpenAIが2024年に発表したInstruction Hierarchyの研究では、systemからdeveloper、user、toolへという優先順位をモデルに明示的に学習させる手法が提案されています⁴ 。
競合する命令が来たとき、どちらを優先すべきかをモデルが判断できるようにする試みです。
AnthropicのConstitutional AIは、明示的な原則集合をもとにモデルが自分の出力を批評・修正する仕組みを導入しています⁵ 。
人間の道徳をそのまま再現するものではないものの、固定した規範を運用上の判断に反映させようとする設計の一例です。

どちらも後付けで階層を補強するアプローチです。
ただ、裏を返せば、それが必要なほど元のアーキテクチャに階層がないということでもあります。

「ゴミ出しルール並みに均質」という例でわかるのは、AIの処理が「冷たい」こと。

人間の道徳観は、長年の社会化・感情・身体経験・制裁への恐れ・内在化された規範が重なり合って形成されます。
「人を傷つけてはいけない」という禁止は、ルールとして覚えている以上に、身体的・情動的なレベルで作動しています。

一方、LLMの安全挙動は、学習済みパターンとガードレール、命令優先順位、フィルタの合成結果です。
「意味を理解して守る」のではなく「そう出力するよう調整されている」という質的な違いがあります。

この構造を踏まえると、対策は自然と見えてきます。

重要な制約は、会話の先頭だけでなく、折に触れて再度明示してください。
長い作業ではチェックポイントを設けて、モデルが制約を維持しているか確認します。
検証ロジックや出力フィルタをツール側に持たせることで、モデルの挙動に頼りすぎない設計にもできます。

AIが約束を「忘れる」のは、能力の問題ではなく構造の問題です。
その構造を知った上で付き合うことが、現時点での現実的な選択になります。