コンテンツへスキップ

Chiilabo Note

  • /series
    • /print
    • /scheduled
    • /recorded
    • /dev
  • /app
  • /root

テンソル

言語モデルの「脳内」の「外れ値」の意義(スケール調整)

2026-02-202026-02-03 by chiilabo
#生成AI(57) #大規模言語モデル(16) #可視化(11) #深層学習(11) #Transformer(10)
カテゴリー 記事 タグ Attention、attention sink、outlier、softmax、Transformer、ゲート付きスケーリング、スケール調整、テンソル、ヒートマップ、モデル内部、内部構造、再スケーリング、分散、副作用、可視化、外れ値、大規模言語モデル、学習、帰納的アプローチ、平均、性能低下、数値分布、文頭トークン、正規化、注意機構、深層学習、生成AI、脳構造、軽量化、量子化

生成AIの内部状態からチャットを逆算できる?(Transformerの単射性)

2025-12-122025-12-10 by chiilabo
#セキュリティ(112) #生成AI(57) #ChatGPT(50) #プライバシー(28) #トークン(25)
カテゴリー 記事 タグ Attention、ChatGPT、GPU、SIPIT、Transformer、セキュリティ、チャット、データ管理、デバッグ、テンソル、トークン、ニューラルネットワーク、プライバシー、ベクトル、モデル重み、ローカル環境、入力復元、内部状態、可逆変換、商用サービス、微調整、情報保持、抽象化、残差接続、流出リスク、生成AI、研究環境、線形性、言語モデル、逆算
© 2026 Chiilabo Note • Built with GeneratePress