オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

データサイエンス-機械学習

【統計学】カーネル

Index Index カーネル ベイズ統計学 パターン認識 / 機械学習 ノンパラメトリック統計 参考 カーネル ベイズ統計学 パターン認識 / 機械学習 ノンパラメトリック統計 参考 カーネル (統計学) ja.wikipedia.org

【統計学】ベイズ回帰

Index Index ベイズ回帰 回帰分析からの導入 パラメータ空間 目的変数の分布 / 予測分布 / 条件付き確率分布 パラメータの分布 / 事前分布 パラメータの分布 / 事後分布 ベイズ回帰 事後分布の更新・推定 / 逐次ベイズ学習 逐次ベイズ学習 ガウス過程回帰 参…

【統計学】ベイズ統計学 #まとめ編

Index Index 統計学・確率論 ベイズの定理 ベイズ確率 機械学習 ベイズ識別 変分ベイズ法 Bayesian Network 参考 書籍 Web サイト 統計学・確率論 確率 #まとめ編 yhayato1320.hatenablog.com ベイズの定理 ベイズ統計学は、基本的にベイズの定理を前提にし…

【画像処理】平均適合率 / Average Precision / AP #実装編

Index Index 平均適合率 / Average Precision / AP Script 参考 平均適合率 / Average Precision / AP 平均適合率 / Average Precision / AP #アルゴリズム編 yhayato1320.hatenablog.com Script github.com AP / mAP の算出プログラム 参考 物体検出の評価…

【機械学習】KL Divergence

Index Index KL Divergence 定義 研究 参考 KL Divergence 相対エントロピー / Relative Entropy や Kallback Leibler (カルバック・ライブラー) Divergence / KL Divergence と呼ばれている. 分布間の類似度を測定する際に利用される. 類似度 #まとめ編 yha…

【機械学習】類似度 #まとめ編

Index Index 類似度 距離 測定方法 データ点・観測点の類似度 コサイン類似度 分布の類似度 KL Divergence 類似度 機械学習において、データ間の類似度を測定する場面が存在する. 機械学習 #まとめ編 yhayato1320.hatenablog.com ここでは、いくつかの計算方…

【機械学習】変分推論法 / Variational Inference・変分ベイズ法 / Variational Bayes

Index Index 変分推論法 / 変分ベイズ法 目的 近似 参考 書籍 Web サイト 変分推論法 / 変分ベイズ法 変分推定 (法) / Variational Inference・変分ベイズ (法) / Variational Bayes 近似推論法 yhayato1320.hatenablog.com 確立分布を近似的に求める手法の…

【機械学習】Multi-Class N-Pair Loss

Index Index Multi-Class N-Pair Loss 応用 参考 Multi-Class N-Pair Loss Metric Learning の手法の一つ. Metric Learning yhayato1320.hatenablog.com 応用 CLIP にて利用されている. CLIP yhayato1320.hatenablog.com 参考 Improved Deep Metric Learning…

【機械学習】Triplet Architecture / Triplet Network

Index Index Triplet Architecture / Triplet Network 応用 参考 Triplet Architecture / Triplet Network Metric Learning の手法の一つ. Metric Learning yhayato1320.hatenablog.com 応用 顔認証への応用. FaceNet: A Unified Embedding for Face Recogni…

【機械学習】決定木 / Decision Tree #まとめ編

機械学習 #まとめ編 yhayato1320.hatenablog.com Index Index 決定木 / Decision Tree 基本アルゴリズム / Classification Regression Tree 応用アルゴリズム ランダムフォレスト / Random Forests Light GBM 実装編 参考 決定木 / Decision Tree 基本アルゴ…

【機械学習】Info NCE

Index Index Info NCE 参考 Info NCE 対照学習の目的関数の一つ. 対照学習 / Contrastive Learning yhayato1320.hatenablog.com 参考 Representation Learning with Contrastive Predictive Coding [2018] arxiv.org

【機械学習】Info LOOB

Index Index Info LOOB 参考 Info LOOB 対照学習の目的関数の一つ. 対照学習 / Contrastive Learning yhayato1320.hatenablog.com Leave One Out Bound 参考 On Variational Bounds of Mutual Information [2019] Leave one out upper bound と呼ばれている …

【機械学習】Auto Encoder / 自己符号化 #まとめ編

機械学習 / MachineLearning yhayato1320.hatenablog.com Index Index Auto Encoder / 1986 応用 Stacked Auto Encoder / xxxx Denoising Auto Encoder / 2010 Convolutional Auto Encoder / CAE / 2011 Variational Auto Encoder / VAE GAN での利用 Advers…

【機械学習】弱教師あり学習 / Weakly Supervised Learning

Index Index 弱教師あり学習 / Weakly Supervised Learning 参考 Related Work 弱教師あり学習 / Weakly Supervised Learning 機械学習・深層学習における、学習の枠組みの一つ. yhayato1320.hatenablog.com 参考 Related Work VirTex: Learning Visual Repr…

【深層学習】CLIP #実装編 #02

Index Index CLIP とは タスク 環境構築 API フレームワーク Docker での環境構築 CLIP の install ライブラリ 実装 handler の作成 mar file の作成 モデルの登録 request CLIP とは CLIP #アルゴリズム編 yhayato1320.hatenablog.com CLIP #まとめ編 yhaya…

【機械学習】対照学習 / Contrastive Learning

Index Index 対照学習 / Contrastive Learning 目的関数 Noise Contrastive Estimation / NCE / 2010 Info NCE / 2018 Info LOOB / 2019 Monte-Carlo InfoNCE / MC Info NCE / 2023 参考 書籍 Web サイト 対照学習 / Contrastive Learning 自己教師あり学習…

【機械学習】教師あり学習 / 教師なし学習 / 強化学習

機械学習 #まとめ編 yhayato1320.hatenablog.com Index Index 教師あり学習 / Supervised Learning 半教師あり学習 / Semi 弱教師あり学習 / Weakly 教師なし学習 / Unsupervised Learning 自己教師あり学習 / Self 強化学習 / Reinforcement Learning 参考 …

【機械学習】自己教師あり学習 / Self Supervised Learning

Index Index 自己教師あり学習 / Self Supervised Learning 対照学習 / Contrastive Learning 各データ分野への応用 画像処理 Generative Model / 生成モデル Auto Regression / AR Model Pixel CNN / 2016 - GPT / 2018 - 参考 書籍 Web サイト 自己教師あ…

【機械学習】識別関数 #まとめ編

yhayato1320.hatenablog.com index index 識別関数 ベイズ識別 識別関数 ベイズ識別 尤度比 yhayato1320.hatenablog.com

【機械学習】尤度比

識別関数 yhayato1320.hatenablog.com Index Index ベイズ識別 尤度比 参考 ベイズ識別 ベイズ識別 / Naive Bayes Classifier では、学習データから、各クラスの事後確率を計算し、 予測データが入力されたときに、事後情報を入力することで、各クラスへの予…

【機械学習】Mixture of Experts / MoE

yhayato1320.hatenablog.com Index Index 参考 Web サイト 参考 パターン認識と機械学習 下 14 モデルの結合 14.5 条件付き混合モデル 14.5.3 混合エキスパートモデル パターン認識と機械学習 下 (ベイズ理論による統計的予測)作者:C.M. ビショップ丸善出版A…

【統計学】スパース回帰 / Sparse Regression

機械学習 #まとめ編 yhayato1320.hatenablog.com 回帰分析 #まとめ編 yhayato1320.hatenablog.com Index Index 参考 参考 Machine Learning A Probabilistic Perspective 13 Sparse linear models Machine Learning: A Probabilistic Perspective (Adaptive …

【機械学習】判別分析 / Discriminate Analysis

Index Index 判別分析 / Discriminate Analysis とは フィッシャーの線形判別 例 参考 判別分析 / Discriminate Analysis とは 機械学習のアルゴリズムのひとつ. 機械学習 #まとめ編 yhayato1320.hatenablog.com 複数のクラス (群) があるとき、将来観測され…

【機械学習】k 最近傍法 / kNN 法 / k Nearest Neighbor Method

Index Index k 最近傍法 / kNN 法 / k Nearest Neighbor Method 最近傍法 変数定義 識別規則 ボロノイ境界 k 最近傍法 / kNN 法 / k Nearest Neighbor Method kNN法とベイズ誤り率 kNN 法の計算量 計算量の削減 計算量削減のアルゴリズム 誤り削減型 kNN 圧…

【機械学習】ベイズ識別 / Naive Bayes Classifier #アルゴリズム編

Index Index ベイズ識別 / Naive Bayes Classifier 医療の診断 最大事後確率基準 識別の規則の例 目的 事前確率 条件付き確率 喫煙に関する条件付き確率 飲酒に関する条件付き確率 最終的な条件付き確率 周辺確率 事後確率 尤度比 誤り率 条件付きベイズ誤り…

【機械学習】パラメトリック / ノンパラメトリック

index index パラメトリック / ノンパラメトリック 参考 パラメトリック / ノンパラメトリック 学習データ(標本 / Sample)の母集団分布を表現する場合、 学習データから推定した統計量 (の標本分布のパラメータ) を用いて、 想定した確率分布 (確率モデル) …

【機械学習】パラメータ推定法 #まとめ編

yhayato1320.hatenablog.com パラメータ推定法 最小二乗法 yhayato1320.hatenablog.com 最尤法 yhayato1320.hatenablog.com 誤差逆伝播法 参考 これなら分かる最適化数学 これなら分かる最適化数学: 基礎原理から計算手法まで作者:健一, 金谷共立出版Amazon

【機械学習】物体検出 / Object Detection

yhayato1320.hatenablog.com Index Index 画像処理 + 機械学習 を用いた物体検出 線形分類器を用いた物体検出 HOG 特徴 + SVM Deformable Part Model / DPM 参考 画像処理 + 機械学習 を用いた物体検出 物体検出の (画像ベースの) 多くの手法では、 物体を囲…

【機械学習】PR曲線

yhayato1320.hatenablog.com Index Index

【機械学習】モデル評価 #まとめ編

#まとめ編 一覧 yhayato1320.hatenablog.com Index Index 評価方法 混合行列 / Confusion Matrix ROC 曲線 PR曲線 Average Precision / AP 評価方法 機械学習で利用される評価方法をまとめた. 機械学習 #まとめ編 yhayato1320.hatenablog.com 混合行列 / Con…