オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【深層学習】分野一覧 #まとめ編

【深層学習】分野一覧 #まとめ編

データサイエンス データサイエンス-深層学習

Index

基本アーキテクチャ

ニューラルネットワーク / Neural Network / NN

事前に基底関数の数を固定し、データに適応させるアルゴリズム.

つまり、基底関数に対して、パラメトリック形を用いて、そのパラメータを訓練中に適応させるアルゴリズム.

似たようなアルゴリズムとして、パーセプトロンがある.

ニューラルネットワークを (パーセプトロンを、1 層のニューラルネットとして)、多層パーセプトロン (MLP) と 考える場合もあるが、非連続な非線形性を持つ MLP と比べ、NN は連続的な非線形性を持つ.

パーセプトロンとは、活性化関数が異なる.

(パーセプトロンでは、ステップ関数を利用している)

Deep Neural Network / DNN

ニューラルネットワークを深く、多層化したネットワークを Deep Neural Network / DNN と呼んでいる.

そして、Deep Neural Network / DNN を利用した学習を深層学習 / DeepLearning とよぶ.



Deep Neural Network には、いくつかのネットワークアーキテクチャがあり、 単純な基本的なネットワークとして、順伝播ネットワーク / フィードフォワードネットワークがある.

応用アーキテクチャ

Skip Layer Connection

Skip Layer Connection を追加したネットワークアーキテクチャ.

CNN

RNN

Attention

Transformer

BERT

GPT

GNN

TabNet

DualNet / 2017



Bayesian Neural Networks / BNN / 2020

  • Bayesian Neural Networks: An Introduction and Survey

Epistemic Neural Networks / ENN / 2021

Lambda Net / 2021

projected Unitary Neural Networks / proj UNN / 2022

ユニタリー行列を用いて深層ニューラルネットワークを効率的に訓練することを目的としている. この方法は、消失勾配や爆発勾配といった、従来のリカレントニューラルネットワーク（RNN）における不安定性の問題を解決しようとしている. projUNNは、勾配ベースの最適化を通じて行列を直接更新し、その後、最も近いユニタリー行列に投影するか、勾配方向に転送することで機能する.

  • projUNN: efficient method for training deep networks with unitary matrices

  • Researchers, Including Yann Lecun, Propose ‘projUNN’: An Efficient Method For Training Deep Neural Networks With Unitary Matrices

Spiking Neural Network / SNN

KAN

  • A Simplified Explanation Of The New Kolmogorov-Arnold Network (KAN) from MIT

工夫・テクニック

Zero / One / Few Shot Learning

活性化関数 / Activation Function

正規化 / Normalization

Neural Architecture Search / NAS

Pre Training / 事前学習

基盤モデル / Foundation Model

Weight Initialization

表現学習 / Representation Learning

誤差関数 / Loss Function

正則化 / Regularization

Metric Learning / Distance Learning

勾配の計算 / Gradient

どのように勾配を計算するか.

誤差逆伝播法 / Error Backpropagation

Forward Gradient / 2022

  • Gradients without Backpropagation

Forward-Forward / 2022

従来のディープラーニングの主流である誤差逆伝播法 (Backpropagation) に代わる新しい学習手法. この手法は、生物学的な脳の仕組みにより近いモデルを目指しており、ニューラルネットワークに正のデータと負のデータをそれぞれ入力する2回の順方向パスのみで重みを更新する. 各層が独自の評価関数 (goodness) を持つため、情報の逆流や微分値の保存が不要となり、学習プロセスの簡略化が図られている.

最適化 / Optimization

勾配情報をどのように利用するか.

ハイパーパラメータチューニング / Hyper Parameter Turning

Neural Functional Networks / NFN / 2023

応用的な研究

Meta Learning

Knowledge Distillation

Data Distillation

Model Compression / モデルの圧縮・軽量化

Data Pruning

Grokking

Scaling Law / スケーリング則

平坦解 / Flat Minima

モデルへの攻撃 / Attack

モデルの性能評価

モデルの編集

Neural Field

Transfer Learning / 転移学習

Small Data

Calibration

Expectation Consistency / EC / 2023

  • Expectation consistency for calibration of neural networks

Probabilistic Embedding

データを「点」ではなく「確率分布」として埋め込む「確率埋め込み」.

  • Probabilistic Embeddings Revisited

世界モデル

  • ChatGPTの中の"世界モデル"

Uncertainty Estimation

Masksembles / 2020

DNN における予測の信頼性を推定することに焦点を当てた研究. 具体的には、不確実性推定のための新しい手法であるMasksemblesを紹介し、その性能を評価. Masksemblesは、不確実性推定の既存の主要な二つの手法であるDeep EnsemblesとMC-Dropoutの利点を組み合わせることを目的としている. Deep Ensemblesは信頼性が高いものの計算コストが高く、MC-Dropoutはコストは低いものの信頼性が低いという問題があり、Masksemblesはバイナリマスクの固定プールを使用し、その重複を制御することで、両者の長所を活かし、Deep Ensemblesと同等の性能をより低い計算コストで達成できると主張. 実験は、CIFAR10とImageNetという広く使用されているデータセットで行われ、MasksemblesがMC-Dropoutよりも優れており、Deep Ensemblesに匹敵する性能を示すことが検証されている.

  • Masksembles for Uncertainty Estimation

Geometric Deep Learning

モデル形式

深層学習のアルゴリズムにおける分類について.

Auto Regression Model / 自己回帰モデル

Generative Model / 生成モデル

GAN

タスク

データ分野

自然言語処理

音声解析

時系列解析

画像処理

テーブルデータ解析

サービス

  • github.com
    • AI を利用したサービスのまとめ

参考

書籍

Web サイト

動画