コンテンツへスキップ

Chiilabo Note

  • /series
    • /print
    • /scheduled
    • /recorded
    • /dev
  • /app
  • /root

損失関数

生成AIの論理らしさはどこから生まれるのか

2026-03-09 by chiilabo
#抽象化(11) #Transformer(10) #学習データ(10) #一貫性(5) #推論能力(3)
カテゴリー 記事 タグ nanoGPT、Transformer、デフォルト前提、パラメータ規模、フレーム問題、一貫性、創発、命題推論、学習データ、学習の安定性、学習プロセス、安全弁、完全性、局所的判断、意味的関係、抽象化、推論能力、損失関数、更新ステップ、環境適応、生存可能性、組み合わせ爆発、統語パターン、継続学習、行動効果、複合的抽象化、記号操作、論理性、過学習、選択的注意

.py GPTの全処理が1ファイルに収まっているmicrogpt.py

2026-02-202026-02-13 by chiilabo
#生成AI(59) #トークン(25) #ニューラルネットワーク(12) #GPT(8) #パラメータ(8)
カテゴリー 記事 タグ Adam、Andrej Karpathy、BOS、GPT、microgpt.py、MLP、PyTorch、ReLU、softmax、temperature、アテンション、オプティマイザ、キー、クエリ、トークン、トークン埋め込み、ニューラルネットワーク、パラメータ、バリュー、位置埋め込み、勾配、単一ファイル実装、推論、損失関数、残差接続、生成AI、自動微分、訓練ループ、語彙サイズ、逆伝播
© 2026 Chiilabo Note • Built with GeneratePress