オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

データサイエンス

【深層学習】Skip Layer Connection #実装編 #02

Index Index Skip Layer Connection 前置き 実装 実行環境 Network Dataset Optimize 参考 Skip Layer Connection 深層学習における、ネットワークアーキテクチャの改善手法の一つ. Skip Layer Connection yhayato1320.hatenablog.com 前置き MLP で Skip La…

【深層学習】Poly Loss

Index Index Poly Loss 参考 Poly Loss 深層学習 #まとめ編 yhayato1320.hatenablog.com 参考 PolyLoss: A Polynomial Expansion Perspective of Classification Loss Functions [2022] arxiv.org

【深層学習】Metric Learning / Distance Learning #実装編 #03

Index Index Metric Learning / Distance Learning Library Dataset タスク アルゴリズム 実装 Library Install Load Dataset 学習モデルの準備 Loss の構築 学習の実行 Metric Learning / Distance Learning Metric Learning / Distance Learning #まとめ編…

【機械学習】条件付き確率場 / Conditional Random Field / CRF

Index Index 条件付き確率場 / Conditional Random Field / CRF 条件付き確率場 / Conditional Random Field / CRF 機械学習 #まとめ編 yhayato1320.hatenablog.com

【自然言語処理】アルゴリズム #まとめ編 #02

自然言語処理 アルゴリズム #まとめ編 機械学習を用いたアルゴリズム yhayato1320.hatenablog.com Index Index 自然言語処理におけるアルゴリズム BERT / 2018 GPT / 2018 - ERNIE / 2019 MT-DNN / 2019 XLNet / 2019 ELECTRA / 2020 T5 / 2020 Turing-NLG /…

【自然言語処理】アルゴリズム #まとめ編 #01

自然言語処理 #まとめ編 yhayato1320.hatenablog.com Index Index 自然言語処理におけるアルゴリズム ベイズ識別 / Naive Bayes Classifier 隠れマルコフモデル / Hidden Markov Model / HMM 条件付き確率場 / Conditional Random Field / CRF DeepLearning …

【自然言語処理】ニューラル言語モデル / Neural Language Model

Index Index 言語モデル / Language Model マルコフモデル / Markov Model 確率モデル ニューラル言語モデル / Neural Language Model ニューラル言語モデルの構築 入力層 中間層 出力層 ニューラル言語モデルの種類 順伝播型ニューラル言語モデル 再帰ニュ…

【自然言語処理】形態素解析

Index Index 形態素解析 語 / word 形態素 形態素解析 参考 形態素解析 語 / word 言語における意味の基本単位は、語 / word である. 文の中の「語の区切り」、「品詞」、「活用」などを明らかにすること、すなわち 語の系列の解析が自然言語処理の第一歩で…

【自然言語処理】前処理 #まとめ編

Index Index 前処理 クリーニング処理 単語分割 形態素解析 トークン化 単語の正規化 ストップワードの除去 ベクトル表現 one-hot 表現 分散表現 ライブラリ・API 参考 前処理 前処理は、5 つの処理に分けることができる. クリーニング処理 単語分割 正規化 …

【機械学習】SNR Contrastive Loss

Index Index Signal To Noise Ration Contrastive Loss Regularization 参考 Signal To Noise Ration Contrastive Loss Metric Learning / Distance Learning の損失に利用される. Metric Learning / Distance Learning #まとめ編 #01 損失 / Loss について …

【機械学習】Soft Triplet Loss

Index Index Soft Triplet Loss Regularization 参考 Soft Triplet Loss Metric Learning / Distance Learning の損失に利用される. Metric Learning / Distance Learning #まとめ編 #01 損失 / Loss について yhayato1320.hatenablog.com 従来の Softmax Lo…

【機械学習】正則化 / Regularization #まとめ編

Index Index 正則化 / Regularization 深層学習 / DeepLearning Dropout Metric Learning / Distance Learning 正則化 / Regularization 機械学習におてい、データに過剰なフィッティングが行われることを防ぐ手法. 機械学習 #まとめ編 -yhayato1320.hatenab…

【機械学習】Centroid Triplet Loss

Index Index Centroid Triplet Loss 応用 参考 Centroid Triplet Loss Metric Learning / Distance Learning の損失に利用される. Metric Learning / Distance Learning #まとめ編 #01 損失 / Loss について yhayato1320.hatenablog.com 応用 Person Re-Iden…

【機械学習】Contrastive Loss

Index Index Contrastive Loss 課題 正のペアの過剰な最適化 参考 Contrastive Loss Metric Learning / Distance Learning の損失と利用される. Metric Learning / Distance Learning #まとめ編 #01 損失について yhayato1320.hatenablog.com 「異なる」種類…

【機械学習】Metric Learning / Distance Learning #まとめ編 #01

Index Index Metric Learning / Distance Learning 損失 / Loss NCA Loss / 2014 Contrastive Loss / 2005 Triplet Loss / Triplet Margin Loss / 2005 Ranking Loss / 2013 Lifted Structure Loss / 2015 Multi-Class N-Pair Loss / 2016 NTXent Loss / 201…

【マルチモーダル】Image Text Similarity

Index Index Image Text Similarity 表現学習 / Representation Learning 各モーダルからの特徴量抽出アルゴリズム Metric Learning / Distance Learning 実装 参考 Image Text Similarity 画像とテキストの類似度を推定するマルチモーダルなタスク. yhayato…

【深層学習】Metric Learning / Distance Learning #実装編 #02

Index Index Metric Learning / Distance Learning Library Dataset タスク アルゴリズム 実装 Library Install Load Dataset 学習モデルの準備 Loss の構築 学習の実行 Metric Learning / Distance Learning Metric Learning / Distance Learning #まとめ編…

【深層学習】Metric Learning / Distance Learning #実装編 #01

Index Index Metric Learning / Distance Learning Library 実装 Loss / Distance 実行の確認 Library Install 適用なデータを作成 適用なネットワークを用意 Loss 学習結果 参考 Metric Learning / Distance Learning Metric Learning / Distance Learning …

【マルチモーダル】Optical Character Recognition / OCR

Index Index Optical Character Recognition / OCR アルゴリズムの構造 Text Detection TextSnake / 2018 Pixel Aggregation Network / PANet / 2019 Progressive Scale Expansion Network / PSENet / 2019 Differentiable Binarization Net / DBNet / 2019 …

【深層学習】YOLO v7

Index Index YOLO v7 実装 参考 YOLO v7 物体検出 / Object Detection のアルゴリズムの一つ YOLO の手法の一つ. YOLO #まとめ編 yhayato1320.hatenablog.com YOLO v4 の研究チームが提案. YOLO v4 yhayato1320.hatenablog.com 実装 github.com 参考 YOLOv7:…

【統計学】確率分布

Index Index 確率分布 二値変数 多値変数 参考 書籍 Web サイト 確率分布 確率 #まとめ編 yhayato1320.hatenablog.com 二値変数 二項分布 / ベルヌーイ分布 離散型 yhayato1320.hatenablog.com ベータ分布 ベルヌーイ分布の事前分布で利用される. 多値変数 …

【統計学】二項分布 / ベルヌーイ分布 / Bernoulli Distribution

Index Index 二項分布 / ベルヌーイ分布 / Bernoulli Distribution 参考 二項分布 / ベルヌーイ分布 / Bernoulli Distribution 参考 統計学入門 東京大学出版 6 確率分布 6.2 二項分布とベルヌーイ分布 統計学入門 (基礎統計学Ⅰ)東京大学出版会Amazon パター…

【統計学】ガウス過程回帰

Index Index ガウス過程回帰 ガウス過程 回帰モデル 予測分布 参考 書籍 ガウス過程回帰 ガウス過程回帰とは、データから関数 の確率分布をガウス過程の形で求める方法. 求めたいものは、関数 の事後分布. これを、ベイズ推定で求める. ベイズ推定 yhayato13…

【深層学習】YOLO v6

Index Index YOLO v6 精度 実装 参考 Web サイト 動画 YOLO v6 物体検出 / Object Detection のアルゴリズムの一つ YOLO の手法の一つ. YOLO #まとめ編 yhayato1320.hatenablog.com アルゴリズムについての論文が見当たらず、精度だけ示している. 精度 実装 …

【統計学】カーネル

Index Index カーネル ベイズ統計学 パターン認識 / 機械学習 ノンパラメトリック統計 参考 カーネル ベイズ統計学 パターン認識 / 機械学習 ノンパラメトリック統計 参考 カーネル (統計学) ja.wikipedia.org

【統計学】ガウス過程 / Gaussian Process

確率・統計学 #まとめ編 yhayato1320.hatenablog.com Index Index ガウス過程 確率過程 定義 もう少し踏み込んだ概念 正確な定義 カーネル法とガウス関数 参考 ガウス過程 ガウス過程とは、関数 を確率変数と見たてた確率分布. ガウス過程も確率過程の一種. …

【統計学】周辺確率

Index Index 参考 参考 統計学入門 東京大学出版 7 多次元の確率分布 7.1 同時確率分布と周辺確率分布 統計学入門 (基礎統計学Ⅰ)東京大学出版会Amazon ガウス過程と機械学習 2 ガウス分布 2.3 多変量ガウス分布 2.3.3 多変量ガウス分布の周辺化 ガウス過程と…

【統計学】同時確率

Index Index 参考 参考 統計学入門 東京大学出版 7 多次元の確率分布 7.1 同時確率分布と周辺確率分布 統計学入門 (基礎統計学Ⅰ)東京大学出版会Amazon パターン認識と機械学習 上 1 序論 1.2 確率論 パターン認識と機械学習 上作者:C.M. ビショップ丸善出版A…

【統計学】ベイズ回帰

Index Index ベイズ回帰 回帰分析からの導入 パラメータ空間 目的変数の分布 / 予測分布 / 条件付き確率分布 パラメータの分布 / 事前分布 パラメータの分布 / 事後分布 ベイズ回帰 事後分布の更新・推定 / 逐次ベイズ学習 逐次ベイズ学習 ガウス過程回帰 参…

【統計学】回帰分析 #アルゴリズム編 #02

Index Index 重回帰 参考 重回帰 回帰分析において、多変量の回帰分析. 回帰分析 #まとめ編 yhayato1320.hatenablog.com 単回帰における平均・分散を、多変量へ適応させる. 平均ベクトルと共分散行列 yhayato1320.hatenablog.com 参考 統計学入門 東京大学出…