コンテンツへスキップ

Chiilabo Note

  • /recent
    • /recorded
    • /scheduled
    • /dev
    • /print
    • /series
  • /app
  • /root

定型詩

【SentencePiece】和歌をAIに学習させるためのトークン分割(microGPT)

2026-03-272026-03-09 by chiilabo
#自然言語処理(16) #GPT(8) #トークナイザ(3) #nanoGPT(2) #コーパス(2)
カテゴリー 記事 タグ 1文字トークン、character_coverage、decode、encode、Googleツール、GPT、nanoGPT、SentencePiece、train.bin、Unigram Language Model、val.bin、vocab_size、waka.model、コーパス、テキスト前処理、トークナイザ、トークンID、トークン分割、モデル学習、助詞、古文、和歌、定型詩、意味単位、文脈長、日本語トークン化、生成品質、自然言語処理、語彙サイズ、語彙学習
© 2026 Chiilabo Note • Built with GeneratePress