コンテンツへスキップ

Chiilabo Note

  • /series
    • /print
    • /scheduled
    • /recorded
    • /dev
  • /app
  • /root

文頭トークン

言語モデルの「脳内」の「外れ値」の意義(スケール調整)

2026-02-202026-02-03 by chiilabo
#生成AI(57) #大規模言語モデル(16) #可視化(11) #深層学習(11) #Transformer(10)
カテゴリー 記事 タグ Attention、attention sink、outlier、softmax、Transformer、ゲート付きスケーリング、スケール調整、テンソル、ヒートマップ、モデル内部、内部構造、再スケーリング、分散、副作用、可視化、外れ値、大規模言語モデル、学習、帰納的アプローチ、平均、性能低下、数値分布、文頭トークン、正規化、注意機構、深層学習、生成AI、脳構造、軽量化、量子化
© 2026 Chiilabo Note • Built with GeneratePress