【DL輪読会】事前学習用データセットについて
Download as PPTX, PDF•1 like•691 views
2023/8/24 Deep Learning JP http://deeplearning.jp/seminar-2/
【DL輪読会】事前学習用データセットについて
- 1. 事前学習用データセットについて Keno Harada, D1, the University of Tokyo
- 3. 目次 主要なデータセットについて、どのような構成でどのくらいデー タ量があるか C4, mC4, MassiveText, RefineWeb, Dolma
- 4. 最大級の公開データセット “Dolma: An Open Corpus of 3 Trillion Tokens for Language Model Pretraining Research” が現在作成中の言語モデル用の学習データセット 英語に特化したトークン数のデータセット
- 5. 他データセットとの比較 “Dolma: An Open Corpus of 3 Trillion Tokens for Language Model Pretraining Research” データセット最大フィルタリングも既存の論文に基づきを実践
- 18. 時には多様性を確保しつつ、でを調整 “Llama 2: Open Foundation and Fine-Tuned Chat Models”
- 19. 最大級の公開データセット “Dolma: An Open Corpus of 3 Trillion Tokens for Language Model Pretraining Research” の実装も一部公開
Editor's Notes
- #4: 基盤モデルの概要 (20P) 事例集 言語モデルにおける基盤モデル Prompting (20P ~ 25P) In Context Learning Demonstrations Instruction Trigger token td,lr 攻撃的なセンテンスを出させるToken 推論能力 Chain of though prompting Self Consistency Toolの利用，外部知識の参照 Instruction Tuning RLFH Contamination How LLM learn from context? Scaling Law 概要 1例で詳解 冪乗則とは：Scale Free 対数での線形性を満たすようなデータは存在する Discramer：Power Low Region Emergent Ability Grokking 研究から開発へ GPT4の例 モデルの選択 LSTM vs. Transformer 失敗する例もあることに注意 言語モデル以外でのスケール則 Vision Language Model Efficient Net Etc. スケールさせる試み モデルの巨大化 PaLM, MoE：Constrained Routed Language Modelsのスケール則 データを増やす Chinchilla The Pile Dataset, Falcon 40B データの不足 Scaling Law with Dataset Distillation 有効計算量を増やす これって何かある？（目的関数を変える系はあるけど） エポックを増やすとどうなるか？