yhayato1320.hatenablog.com Index Index Layer Normalization 利用しているアーキテクチャ 参考 Layer Normalization DNN (Deep Neural Networks) で、計算コストを短縮する方法として、正規化 / Normalization がある. Batch Normalization では、正規化す…

yhayato1320.hatenablog.com Index Index Post / Pre Normalization 利用されているアーキテクチャ 参考 Post / Pre Normalization 機械翻訳のタスクで、Transformer の層を深くする研究にて、2 つの手法が提案されている. Post / Pre Normalization の適応 …

深層学習手法一覧 yhayato1320.hatenablog.com まとめ編一覧 yhayato1320.hatenablog.com Index Index Batch Normalization Layer Normalization Group Normalization Instance Normalization Conditional Instance Normalization Interpreting Instance Nor…

GPT-3 #まとめ編 yhayato1320.hatenablog.com Index Index GPT-3 とは 参考 書籍 Web サイト GPT-3 とは ネットワークアーキテクチャをスケールアップし、 事前学習するコーパスを大きくすることで、 ファインチューニングを行わずに(Zero-Shot)、 もしくは…

GPT #まとめ編 yhayato1320.hatenablog.com Index Index GPT-2 とは アプローチ 学習データ Byte Pair Encoding (BPE) ネットワークアーキテクチャ 学習済みモデル gpt2-xl-japanese 参考 Web サイト GPT-2 とは 複数のタスク(Multi Task) やドメイン(Multi …

Index Index GPT GPT-1 / 2018 GPT-2 / 2019 GPT-3 / 2020 GPT-J / 2021 Codex / 2021 GPT-3.5 Series / 2021 Instruct GPT / 2022 Chat GPT / 2023 Contrastive Pre Training / CPT / 2022 SpikeGPT / 2023 GPT-4 HuggingGPT / 2023 FrugalGPT / 2023 特定…

yhayato1320.hatenablog.com Index Index GPT-1 とは 学習の仕組み 教師なし事前学習(Unsupervised Pre-Training) 教師あり学習 ファインチューニング (Supervised Fine-Tuning) ネットワークアーキテクチャ 教師なし事前学習(Unsupervised Pre-Training) 教…