オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【深層学習】分野一覧 #まとめ編

【深層学習】分野一覧 #まとめ編

データサイエンス データサイエンス-深層学習

Index

基本アーキテクチャ

ニューラルネットワーク / Neural Network / NN

事前に基底関数の数を固定し、データに適応させるアルゴリズム.

つまり、基底関数に対して、パラメトリック形を用いて、そのパラメータを訓練中に適応させるアルゴリズム.

似たようなアルゴリズムとして、パーセプトロンがある.

ニューラルネットワークを (パーセプトロンを、1 層のニューラルネットとして)、多層パーセプトロン (MLP) と 考える場合もあるが、非連続な非線形性を持つ MLP と比べ、NN は連続的な非線形性を持つ.

パーセプトロンとは、活性化関数が異なる.

(パーセプトロンでは、ステップ関数を利用している)

Deep Neural Network / DNN

ニューラルネットワークを深く、多層化したネットワークを Deep Neural Network / DNN と呼んでいる.

そして、Deep Neural Network / DNN を利用した学習を深層学習 / DeepLearning とよぶ.



Deep Neural Network には、いくつかのネットワークアーキテクチャがあり、 単純な基本的なネットワークとして、順伝播ネットワーク / フィードフォワードネットワークがある.

応用アーキテクチャ

Skip Layer Connection

Skip Layer Connection を追加したネットワークアーキテクチャ.

CNN

RNN

Attention

Transformer

BERT

GPT

GNN

TabNet

DualNet / 2017



工夫・テクニック

Zero / One / Few Shot Learning

活性化関数 / Activation Function

正規化 / Normalization

Neural Architecture Search / NAS

Pre Training / 事前学習

基盤モデル / Foundation Model

Weight Initialization

表現学習 / Representation Learning

誤差関数 / Loss Function

正則化 / Regularization

Metric Learning / Distance Learning

勾配の計算 / Gradient

どのように勾配を計算するか.

誤差逆伝播法 / Error Backpropagation

Forward Gradient / 2022

  • Gradients without Backpropagation

Forward-Forward / 2022

最適化 / Optimization

勾配情報をどのように利用するか.

Neural Functional Networks / NFN / 2023

応用的な研究

Meta Learning

Knowledge Distillation

Data Distillation

Model Compression / モデルの圧縮・軽量化

Grokking

Scaling Law / スケーリング則

平坦解 / Flat Minima

モデルへの攻撃 / Attack

モデルの性能評価

モデルの編集

Neural Field

Transfer Learning / 転移学習

Small Data

Calibration

Expectation Consistency / EC / 2023

  • Expectation consistency for calibration of neural networks

Probabilistic Embedding

データを「点」ではなく「確率分布」として埋め込む「確率埋め込み」.

  • Probabilistic Embeddings Revisited

世界モデル

  • ChatGPTの中の"世界モデル"

モデル形式

深層学習のアルゴリズムにおける分類について.

Auto Regression Model / 自己回帰モデル

Generative Model / 生成モデル

GAN

タスク

データ分野

自然言語処理

音声解析

時系列解析

画像処理

テーブルデータ解析

サービス

  • github.com
    • AI を利用したサービスのまとめ

参考

書籍

Web サイト

動画