オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

2022-03-01から1ヶ月間の記事一覧

【深層学習】CLIP #実装編 #01

Index Index CLIP とは タスク データセット 実装 実行環境 ソースコード 学習済みモデル 実行 CLIP とは CLIP #アルゴリズム編 yhayato1320.hatenablog.com CLIP #まとめ編 yhayato1320.hatenablog.com タスク 画像分類 / 物体認識 の予測処理を確認する. …

【データセット】WebImageText

yhayato1320.hatenablog.com Index Index WebImageText 特徴 データの取得 参考 WebImageText CLIP というアルゴリズムが紹介された論文にて、作成されたデータセット. CLIP yhayato1320.hatenablog.com 特徴 4 億の画像とテキストのペアのデータセット. イ…

【機械学習】対照学習 / Contrastive Learning

Index Index 対照学習 / Contrastive Learning 目的関数 Noise Contrastive Estimation / NCE / 2010 Info NCE / 2018 Info LOOB / 2019 Monte-Carlo InfoNCE / MC Info NCE / 2023 参考 書籍 Web サイト 対照学習 / Contrastive Learning 自己教師あり学習…

【機械学習】教師あり学習 / 教師なし学習 / 強化学習

機械学習 #まとめ編 yhayato1320.hatenablog.com Index Index 教師あり学習 / Supervised Learning 半教師あり学習 / Semi 弱教師あり学習 / Weakly 教師なし学習 / Unsupervised Learning 自己教師あり学習 / Self 強化学習 / Reinforcement Learning 参考 …

【機械学習】自己教師あり学習 / Self Supervised Learning

Index Index 自己教師あり学習 / Self Supervised Learning 対照学習 / Contrastive Learning 各データ分野への応用 画像処理 Generative Model / 生成モデル Auto Regression / AR Model Pixel CNN / 2016 - GPT / 2018 - 参考 書籍 Web サイト 自己教師あ…

【深層学習】Pre Training / Fine Turning

Index Index Pre Training / Fine Turning Pre Training マルチモーダル 画像 Masked AutoEncoders / MAE / 2021 Fine Turning Parameter Efficient Fine Tuning / PEFT LoRA / 2021 応用 参考 書籍 Pre Training / Fine Turning 深層学習の精度向上・マルチ…

【マルチモーダル】Natural Language Supervision #まとめ編

Index Index Natural Language Supervision 従来の画像分類 自然言語を教師データに 利点 アルゴリズム Visual N-Grams / 2016 VirTex / 2020 ICMLM / 2020 ConVIRT CLIP / 2021 参考 Natural Language Supervision ラベルのついた教師データではなく、生の…

【深層学習】CLIP #アルゴリズム編

Index Index CLIP 従来の画像分類 自然言語を教師データに データセット / WebImageText 学習 / Training 事前学習 / Pre Training Loss Image Encoder Text Encoder Zero Shot Prediction 実験 表現学習 / Representation Learning 参考 書籍 Web サイト CL…

【深層学習】GLIDE

yhayato1320.hatenablog.com Index Index GLIDE Diffusion Model Guided Diffusion Classifier-Free Guidance CLIP (Classifier) Guidance 参考 Web サイト GLIDE Diffusion Model を利用した画像の生成アルゴリズム. Diffusion Model yhayato1320.hatenablo…

【機械学習】識別関数 #まとめ編

yhayato1320.hatenablog.com index index 識別関数 ベイズ識別 識別関数 ベイズ識別 尤度比 yhayato1320.hatenablog.com

【機械学習】尤度比

識別関数 yhayato1320.hatenablog.com Index Index ベイズ識別 尤度比 参考 ベイズ識別 ベイズ識別 / Naive Bayes Classifier では、学習データから、各クラスの事後確率を計算し、 予測データが入力されたときに、事後情報を入力することで、各クラスへの予…

【画像処理】Intersection over Union / IoU #実装編

yhayato1320.hatenablog.com Index Index Intersection over Union / IoU とは 実装 動作環境 実装内容 参考 Intersection over Union / IoU とは yhayato1320.hatenablog.com 実装 動作環境 Google Colabratory (2022/03/18) Python (3.7.12) 実装内容 IoU …

【深層学習】Semantically Multi-modal Image Synthesis / SMIS

Index Index Semantically Multi-modal Image Synthesis / SMIS 参考 Web サイト Semantically Multi-modal Image Synthesis / SMIS Semantic Segmentation と GAN を組み合わせたモデル体系. yhayato1320.hatenablog.com 参考 Semantically Multi-modal Ima…

【深層学習】PSPNet

yhayato1320.hatenablog.com Index Index PSPNet 参考 PSPNet 画像処理における Segmentation に深層学習を利用した手法の提案. yhayato1320.hatenablog.com Pyramid Pooling Module を導入. 参考 Pyramid Scene Parsing Network [2016] Abstract arxiv.org

【深層学習】DeepLab #まとめ編

yhayato1320.hatenablog.com Index Index DeepLab 参考 Web サイト DeepLab 参考 Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs [2014] DeepLab v1 arxiv.org DeepLab: Semantic Image Segmentation with Deep Convol…

【深層学習】SegNet

yhayato1320.hatenablog.com Index Index SegNet 参考 Web サイト SegNet 画像処理の Segmentation に DeepLearning を適用する際の工夫のひとつ. yhayato1320.hatenablog.com Encoder と Decoder を連結させ、最終的に分類マップを出力する. Decoder の Ups…

【深層学習】Deconvolution

yhayato1320.hatenablog.com Index Index Deconvolution ネットワークアーキテクチャ Unpooling と Deconvolution 参考 Deconvolution 画像処理の Segmentation に DeepLearning を適用する際の工夫のひとつ. yhayato1320.hatenablog.com ネットワークアーキ…

【画像処理】セグメンテーション / Segmentation #まとめ編 #01

Segmentation yhayato1320.hatenablog.com Index Index Segmentation とは 画像処理を利用したアルゴリズム Snakes 法 / 1988 Level Set 法 / 2004 参考 Segmentation とは 画像処理のタスクの一つである領域検知. 画像を入力としてピクセルレベルで領域を分…

【データセット】仮想通貨 / Crypto Currency Price Data #実装編

yhayato1320.hatenablog.com Index Index 実装 環境とライブラリ データの取得と可視化 実装 環境とライブラリ Google Colaboratory (2022/03/06) Python (3.7.12) Crypto Compare を web api として利用 min-api.cryptocompare.com データの取得と可視化

【データセット】株価データ / Stock Price Data #実装編

yhayato1320.hatenablog.com Index Index 実装 環境とライブラリ 実装 環境とライブラリ Google Colaboratory (2021/09/12) Python (3.7.x) Python library pandas-datareader を利用 (0.10.0). トヨタの株価データをyahoo financeから取得する.

【深層学習】セグメンテーション / Segmentation #まとめ編

Index Index セグメンテーション / Segmentation Segmentation の分類 深層学習を利用したアルゴリズム Fully Convolutional Network / FCN / 2014 DeepLab / 2014 - Deconvolution / 2015 U-Net / 2015 - SegNet / 2015 ReSeg / 2015 PSPNet / 2016 HRNet /…

【深層学習】U-Net #まとめ編

yhayato1320.hatenablog.com Index Index U-Net / 2015 応用 R2 U-Net / 2018 U-Net++ / Nested U-Net / 2018 U-Net++ / 2019 U-Net 3+ / 2020 Eff U-Net / 2020 3D 3D U-Net / 2016 GAN U-Net GAN / 2020 Attention EAR U-Net / 2021 Trans U-Net / 2021 参…

【機械学習】Mixture of Experts / MoE

yhayato1320.hatenablog.com Index Index 参考 Web サイト 参考 パターン認識と機械学習 下 14 モデルの結合 14.5 条件付き混合モデル 14.5.3 混合エキスパートモデル パターン認識と機械学習 下 (ベイズ理論による統計的予測)作者:C.M. ビショップ丸善出版A…

【統計学】スパース回帰 / Sparse Regression

機械学習 #まとめ編 yhayato1320.hatenablog.com 回帰分析 #まとめ編 yhayato1320.hatenablog.com Index Index 参考 参考 Machine Learning A Probabilistic Perspective 13 Sparse linear models Machine Learning: A Probabilistic Perspective (Adaptive …

【機械学習】判別分析 / Discriminate Analysis

Index Index 判別分析 / Discriminate Analysis とは フィッシャーの線形判別 例 参考 判別分析 / Discriminate Analysis とは 機械学習のアルゴリズムのひとつ. 機械学習 #まとめ編 yhayato1320.hatenablog.com 複数のクラス (群) があるとき、将来観測され…

【数理最適化】分枝限定法

yhayato1320.hatenablog.com Index Index 分枝限定法 応用 機械学習 画像処理 参考 分枝限定法 応用 機械学習 kNN 法での計算効率化 yhayato1320.hatenablog.com 画像処理 物体検出の物体領域候補の提案 yhayato1320.hatenablog.com 参考 組合せ最適化 3 組…

【機械学習】k 最近傍法 / kNN 法 / k Nearest Neighbor Method

Index Index k 最近傍法 / kNN 法 / k Nearest Neighbor Method 最近傍法 変数定義 識別規則 ボロノイ境界 k 最近傍法 / kNN 法 / k Nearest Neighbor Method kNN法とベイズ誤り率 kNN 法の計算量 計算量の削減 計算量削減のアルゴリズム 誤り削減型 kNN 圧…

【機械学習】ベイズ識別 / Naive Bayes Classifier #アルゴリズム編

Index Index ベイズ識別 / Naive Bayes Classifier 医療の診断 最大事後確率基準 識別の規則の例 目的 事前確率 条件付き確率 喫煙に関する条件付き確率 飲酒に関する条件付き確率 最終的な条件付き確率 周辺確率 事後確率 尤度比 誤り率 条件付きベイズ誤り…

【機械学習】パラメトリック / ノンパラメトリック

index index パラメトリック / ノンパラメトリック 参考 パラメトリック / ノンパラメトリック 学習データ(標本 / Sample)の母集団分布を表現する場合、 学習データから推定した統計量 (の標本分布のパラメータ) を用いて、 想定した確率分布 (確率モデル) …

【統計学】最小二乗法 #まとめ編

Index Index 最小二乗法 参考 最小二乗法 ある目的の関数を最小にする係数・パラメータを推定する方法の一つ. 回帰分析などで使用されることが多い. 線形単回帰の係数パラメータ推定 yhayato1320.hatenablog.com 線形重回帰の係数パラメータ推定 yhayato1320…