オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【機械学習】分野一覧 #まとめ編

Index

前処理

基本手法

ベイズ識別 / Naive Bayes Classifier

(ベイズ確率) 事後確率 から 尤度 を計算.
尤度の比較して分類する.



k 最近傍法 / kNN 法 / k Nearest Neighbor Method

認識したい入力データとすべての学習データ (鋳型 / Template) との距離計算を行い、 最も近い学習データが属するクラスに識別する方法.



判別分析 / Discriminant Analysis

複数のクラス (群) があるとき、将来観測されたデータが、
その中ののどのクラス (群) へ属するかを予測することを目的とし、
既にどのクラス (群) に属するのかわかっているデータに基づいて
判別方式を構成する手法を判別分析 / Discriminate Analysisと呼ぶ.



Mixture Discriminant Analysis

ロジスティック回帰 / Logistic Regression

線形回帰 / Linear Regression

スパース回帰 / Sparse Regression

スパースカーネル回帰 / Sparse Kernelized Regression

Mixture of Experts / MoE

パーセプトロン / Perceptron

Neural Network

深層学習 / DeepLearning / DNN

Spiking Neural Network / SNN

  • Spiking Neural Networkとは何なのか

条件付き確率場 / Conditional Random Field / CRF

サポートベクターマシン / Support Vector Machine / SVM

Relative Vector Machine / RVM

部分空間法

クラスタリング

決定木 / Decision Tree

Boosting

Gaussian Process

Smoothing Splines

学習における手法や工夫

識別関数

汎化能力

学習とは、学習データに対する識別関数の出力値と教師データとの誤差が最小になるように、 識別関数のパラメータを調整することである.

しかし、学習で得られた識別関数が学習データに含まれていない 未知のデータに対してうまくはたらくという保証はない.



以下のような状態の簡単なルールベースの識別器に含まれるパラメータ調整時には、汎化対応はいらないのか?

  • パラメータの意味が人間にとってわかりやすく、変更対応が迅速にできる
  • 対象のデータの内容がある程度分かっていて、過学習すればするほど精度があがることが期待できる
  • また、未知データがある程度予測できる.



そこで、学習データから取り除いておいたテストデータを用いて性能評価を行い、 未知データに対する動作をテストデータに対する誤り確率という形で予測することが行われている.

未知のデータに対する識別能力を汎化能力といい、また、その誤差を汎化誤差という.

アンサブル学習 / Ensemble Learning

データ拡張 / Data Augmentation

パラメータ推定法

ハイパーパラメータチューニング / Hyper Parameter Turning

モデルの評価

手法の分類方法



(8.6.2 Dealing with missing data)

関数モデル

  • 基底関数モデル / Basis Function Models

    • 線形基底関数モデル / Liner Basis Function Models
    • 適応基底関数モデル / Adaptive Basis Function Models (ABM)
    • yhayato1320.hatenablog.com

  • 一般加法モデル / Generalized Additive Models (GAM)

Classification / Regression

Generative / Discriminative

パラメトリック / ノンパラメトリック

教師あり学習 / 教師なし学習 / 強化学習

参考