- Transformerという名前は、入力を別の表現に変換するという意味からそのまま来ています。
- 単純な規則の組み合わせから、複雑な振る舞いが生まれることがあります。ただし将棋AIと人間の棋士とでは、指し方の根っこが違います。
- 生成AIには、自ら目的を持ち替えるという構造がありません。
- 生成AIは、多様な視点を差し出す相談相手ではなく、自分の言葉を展開して映し返す装置です。
1. Transformerは「変換する」という意味からできている
現在の生成AIは、「Transformer」という仕組みによっています。
この言葉の意味するところは、入力を別の表現に変換するというもの1。
言語モデルは、入力に対して常に同じ答えを返すわけではない。 むしろ確率分布の中から出力を選び取る、確率的な写像に近い2。 関数にも近いが、一対一で対応しない点には注意が必要です。
生成AIに「人格」を感じてしまうという話をよく聞く。 これは人間側の特性でもあるだろう。 ただ、少なくとも今の生成AIに関して言えば、言語そのものが文脈や背景を含んだ厚みのあるものだから、単なる変換処理以上のものに見えてしまう、という方が正確だと思う。
2. 単純な規則から複雑な振る舞いが生まれる
コンウェイのライフゲームを思い出してほしい3。 ごく単純な規則の連続だが、初期状態のパターンから次のパターンが生成され、それがまた次の入力になる。 この過程を、生命のような振る舞いと見る人もいれば、ただの計算結果と見る人もいる。
人間の脳の働きも、還元主義的に見れば化学反応の連結に過ぎないという言い方ができる。 だとすれば、生成AIを数理的な変換器と言い切ることと、そこに創発的な振る舞いが現れることは、矛盾しない。 両方が同時に成り立つ話だ。
ラムダ計算という考え方がある4。 入力を別の表現に置き換えていくという、それ自体はごく単純な仕組みだが、組み合わせ方次第でチューリング完全になる5。 つまり単純な記号の置き換えの積み重ねだけで、どんな計算も表現できてしまう。
だからこそ、言語の変換器という言い方は、道具に収まらないという印象を与えやすい。 だが創発を認めることと、原理が数学的な変換であることは、別の階層の話だ。 小さな種から多くのものが生まれるという意味では、確かに興味深い。
言語というのは、日常会話のような自然言語だけを指すわけではない。 SVGやHTML、プログラムのコマンドも、言語として生成できる対象になる。 それを解釈するシステムと組み合わせれば、画面に動きを出したり、画像を表示したりすることもできる。 言語から言語を出すという営みの射程は、思っている以上に広い。
3. AIには目的がない
3.1. 将棋AIは一局面ごとに最適化する
将棋AIと人間の棋士は、強さで比べれば今や将棋AIの方が上だろう。 だが、やっていることは同じではない。 将棋AIは一局面ごとに、その時点で最も良い手を選ぶという処理の繰り返しで指している6。
一方、人間の棋士は違う。 こういう局面を作りたいという方向性があって、そこへ向けて指していく。 振り飛車を好む人もいれば、居飛車を好む人もいる。 一手先が全体で見て最善かどうかは分からないまま、自分なりの位相に向かって指しているわけだ。
3.2. 人間の棋風は方向性を持っている
考えるということには、目的性がある。 人間は外的な環境という入力を受けながら、自分の目的に沿って行動を選ぶ。 時に最善ではない手を選ぶこともあるが、そこには一本の筋が通っている。
生成AIの場合、学習した重みづけやシステムプロンプトを変えれば、出力の傾向は入れ替え可能だ。 だが、その入れ替え可能なものは、人格的な意味での思考とは違う。 Transformerには、自分で目的を組み替えていくという構造が組み込まれていない。 外部のツールやエージェントがゴールを設定してループを回すことはできるが、それは脳が持つ目的意識とは別の話だ7。
4. 相談相手ではなく、自分の言葉が返ってくる装置
4.1. 聞かれなかったことには答えない
生成AIを参考資料として使うという言い方には、多分に欺瞞が含まれていると思う。 何を調べるかは聞き方次第で変わり、聞かれなかった問題には答えが返ってこない。 誘導しようと思えば、いくらでも誘導できてしまう。
人間が人間に相談するときは、そもそも背景の異なる者同士が意見を交わす。 そこには本人の見落としを補う、別の視点が加わる余地がある。 生成AIは、質問した人間の考えを展開することはできても、別の価値観そのものを持ち込んでくれるわけではない。 考えを展開するというのは、つまり言語をインプットからアウトプットに変換するという作業に他ならない。
4.2. 正しいか否かではなく、益か害か
出力について考えるとき、正しいか正しくないかという尺度は、実はそれほど大事ではない。 それは第三者的な、客観的な視点の話だ。 道具として使う上で大事なのは、自分にとって有用かどうか、つまり益か害かという尺度になる。
生成AIの性能が上がるほど、人間はそちらの判断の方が正しいのではないかと思い込みやすくなる。 だが、それでもなお自分の判断として決断を下せるかどうかが、この時代の主体性になる。 入力に何を込めるかで、返ってくる出力の方向は変わる。 雑な指示のまま楽をしようとすると、一見高い性能に見えても、その性能は間違った方向に働いてしまう。
生成AIは、言語の変換器である。 道具であるという以上、そこから出てくるものの善し悪しは、突き詰めれば人間の判断にかかっている。 このことを忘れないでいたい。
- 2017年に発表された論文で、Transformerは注意機構のみに基づく新しいネットワーク構造として提案され、既存の系列変換モデルを置き換えるものと位置づけられている。 – [1706.03762] Attention Is All You Need
- ソフトマックス関数は、ニューラルネットワークの出力を確率分布に変換する関数で、多クラス分類の最後の層としてよく用いられている。 – ソフトマックス関数 – Wikipedia
- ライフゲームは、単純な生存・誕生の規則を盤面全体に適用し続けることで、複雑なパターンを生み出すセル・オートマトンとして知られている。 – ライフゲーム – Wikipedia
- ラムダ計算は、関数の定義と適用だけからなる計算体系で、計算理論における形式体系のひとつとして扱われている。 – ラムダ計算 – Wikipedia
- チューリング完全とは、ある計算体系がチューリング機械と同等の計算能力を持つことを指し、ラムダ計算もこれを満たす体系のひとつとされている。 – チューリング完全 – Wikipedia
- コンピュータ将棋は、局面の有利さを評価値という数値に変換する評価関数をもとに、数手先を予測しながらもっとも有利になる手を探索するという方式で指し手を決めている。 – コンピュータ将棋 – Wikipedia
- AutoGPTは、ユーザーが自然言語で指定した目標を小さなサブタスクに分割し、ウェブブラウジングなどのツールを使って自律的に遂行しようとするソフトウェアエージェントの一例である。 – AutoGPT – Wikipedia