オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】Hyena

Transformer #まとめ編 yhayato1320.hatenablog.com Index Index Hyena Hyena Hyena Hierarchy: Towards Larger Convolutional Language Models [2023] arxiv.org GPTを超える大規模言語アーキテクチャ「Hyena」とは何か? www.itmedia.co.jp 【DL輪読会】Hy…

【統計学】劣度 / Kurtosis

確率 #まとめ編 yhayato1320.hatenablog.com Index Index 劣度 / Kurtosis 定義 参考 劣度 / Kurtosis 期待値、分散によって確率分布の様子はある程度わかるが、 位置とばらつきだけで確率分布の形がひととおりに決まるわけではない. 期待値・分散 yhayato13…

【統計学】歪度 / Skewness

確率 #まとめ編 yhayato1320.hatenablog.com Index Index 歪度 / Skewness 定義 参考 歪度 / Skewness 期待値、分散によって確率分布の様子はある程度わかるが、 位置とばらつきだけで確率分布の形がひととおりに決まるわけではない. 期待値・分散 yhayato13…

【統計学】度数分布

確率 #まとめ編 yhayato1320.hatenablog.com Index Index 度数分布 階級 / Class 階級値 度数 / Frequency 相対度数 / Relative Frequency 累積度数 / Cumulative Frequency・累積相対度数 / Cumulative Relative Frequency ヒストグラム 参考 度数分布 度数…

【機械学習】ジャックナイフ法

MCMC 法 yhayato1320.hatenablog.com Index Index ジャックナイフ法 参考 書籍 ジャックナイフ法 参考 書籍 ゼロからできるMCMC 4 メトロポリス法 4.3 自己相関 4.3.3 自己相関長とジャックナイフ法 ゼロからできるMCMC マルコフ連鎖モンテカルロ法の実…

【機械学習】サンプリング法

機械学習 #まとめ編 yhayato1320.hatenablog.com 近似推論法 yhayato1320.hatenablog.com Index Index サンプリング法 モンテカルロ サンプリング / Monte Carlo Sampling Markov Chain Monte Carlo / MCMC 法 参考 書籍 サンプリング法 モンテカルロ サンプ…

【機械学習】メトロポリス法

Index Index メトロポリス法 参考 書籍 Web サイト 動画 メトロポリス法 MCMC 法における考え方の一つ. MCMC 法 yhayato1320.hatenablog.com 確率 が以下のように表現できるとする. は対数尤度、 は分配関数と考える. 初期値 から次の手順で、 を構成する. …

【動画像処理】Video Synthesis

Index Index Video Synthesis アルゴリズム MixVoxels / 2023 Video Synthesis 動画像処理 yhayato1320.hatenablog.com アルゴリズム MixVoxels / 2023 Mixed Neural Voxels for Fast Multi-view Video Synthesis [2023] arxiv.org github.com paper with co…

【統計学】マルコフ過程・マルコフ連鎖

確率過程 yhayato1320.hatenablog.com Index Index マルコフ連鎖 例 ランダムウォーク / Random Walk(酔歩) 実装 動画 参考 書籍 Web サイト マルコフ連鎖 がマルコフ連鎖であるとは、 から で得られる確率が過去の履歴には依らずに だけで決定すること. 例 …

【統計学】確率過程

確率・統計学 #まとめ編 yhayato1320.hatenablog.com Index Index 確率過程 ガウス過程 マルコフ過程・マルコフ連鎖 参考 Web サイト 確率過程 ガウス過程 ガウス過程 yhayato1320.hatenablog.com マルコフ過程・マルコフ連鎖 マルコフ過程 yhayato1320.hate…

【機械学習】ランジュバン・モンテカルロ法

Index Index ランジュバン・モンテカルロ法 アルゴリズム 参考 書籍 Web サイト ランジュバン・モンテカルロ法 ランジュバン・モンテカルロ法は、スコアを使った MCMC 法. MCMC 法 yhayato1320.hatenablog.com スコア yhayato1320.hatenablog.com アルゴリズ…

【深層学習】DeBERTa

Index Index DeBERTa DeBERTaV3 / 2021 参考 Web サイト DeBERTa BERT #まとめ編 yhayato1320.hatenablog.com DeBERTaV3 / 2021 DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with Gradient-Disentangled Embedding Sharing [2021] arxiv…

【マルチモーダル】Image to Video

Index Index Image to Video アルゴリズム Animated Drawings / 2023 Dual-path Adaptation / 2023 Animate Anyone / 2023 Image to Video 動画像処理 #まとめ編 タスク yhayato1320.hatenablog.com マルチモーダル #まとめ編 タスク yhayato1320.hatenablog…

【機械学習】暗黙的生成モデル

Index Index 暗黙的生成モデル 暗黙的生成モデル 生成モデルの学習方法の一つ. 生成モデル / Generative Model #まとめ編 yhayato1320.hatenablog.com サンプリング過程によって確率分布が暗黙的に表現されているモデルであり、 尤度ベースモデルに対して、…

【深層学習】Style GAN-XL

Style GAN #まとめ編 yhayato1320.hatenablog.com Index Index Style GAN-XL Projected GAN 参考 Web サイト Style GAN-XL StyleGAN を大規模で多様なデータセットに拡張し、 解像度 1024x1024 で高品質の画像を生成するモデルである StyleGAN-XL を紹介. パ…

【機械学習】尤度ベースモデル

Index Index 尤度ベースモデル 参考 尤度ベースモデル 生成モデルの学習方法の一つ. 生成モデル / Generative Model #まとめ編 yhayato1320.hatenablog.com 与えられたデータ の生成確率 を尤度として、 訓練データの尤度が最も大きくなるパラメータ を求め…

プライベートポリシー

当ブログにおける個人情報の取扱いについて、以下のとおりにプライバシーポリシーを定めます。 運営者情報 運営者:オムライス ブログURL:https://yhayato1320.hatenablog.com お問い合わせ: omuraisu@yoneda-hayato.info 個人情報の利用目的 当ブログでは…

【深層学習】Dream LLM

Index Index Dream LLM VL モデルの比較 CLIP - like Flamingo / BLIP - like GILL / Emu - like アーキテクチャ 参考 Dream LLM VL のマルチモーダルの手法. Vision-Language #まとめ編 yhayato1320.hatenablog.com VL モデルの比較 CLIP - like CLIP yhaya…

【深層学習】Instruction Tuning

Index Index Instruction Tuning FLAN Poisoning Language Models During Instruction Tuning 参考 Instruction Tuning LLM における Fine Tuning の手法の一つ. LLM yhayato1320.hatenablog.com FLAN 言語モデルのZero-Shot性能を高めるFine-Tuning ai-scho…

【機械学習】Markov Chain Monte Carlo / MCMC 法

Index Index マルコフ連鎖モンテカルロ法 / Markov Chain Monte Carlo Method / MCMC 法 目的 Monte Carlo Method / モンテカルロ法 一般論 基本条件 マルコフ連鎖 サンプリング法 メトロポリス・ヘイスティング法 メトロポリス法 評価法 ジャックナイフ法 …

【数値解析】Monte Carlo Method / モンテカルロ法

数学 #まとめ編 yhayato1320.hatenablog.com Index Index Monte Carlo Method / モンテカルロ法 図形の面積を求める例 実像 動画 積分に利用する例 円周率 を求める例 応用手法 重要サンプリング Markov Chain Monte Carlo / MCMC 法 参考 書籍 Web サイト M…

【深層学習】FrugalGPT

GPT #まとめ編 yhayato1320.hatenablog.com Index Index FrugalGPT 改善点 Prompt Adaptation LLM Approximation LLM Cascade 参考 Web サイト FrugalGPT コスト削減のための改善. 改善点 Prompt Adaptation LLM Approximation LLM Cascade 参考 FrugalGPT: …

【機械学習】One-Hot Encoding

前処理 yhayato1320.hatenablog.com Index Index One-Hot Encoding 参考 One-Hot Encoding 参考 Kaggle で勝つデータ分析の技術 3 特徴量の作成 3.5 カテゴリ変数の変換 3.5.1 one-hot encoding Kaggleで勝つデータ分析の技術作者:門脇 大輔,阪田 隆司,保坂 …

【深層学習】LangChain

LLM yhayato1320.hatenablog.com Index Index LangChain 参考 LangChain LLM におけるテクニックのひとつ. 参考 github github.com ChatGPTとLangChainで何でもできるAIを作る qiita.com LangChain www.youtube.com 話題の ChatGPT + LangChain で、膨大な P…

【深層学習】LaMDA

Large Language Model / LLM yhayato1320.hatenablog.com Transformer 自然現処理における手法 yhayato1320.hatenablog.com Index Index LaMDA 参考 Web サイト LaMDA Googleの対話型人工知能. Transormer がベースとなっている. 参考 LaMDA: Language Model…

【機械学習】近似推論法

機械学習 #まとめ編 yhayato1320.hatenablog.com Index Index 近似法 / 近似推論法 決定論的近似 / 決定的 変分近似法 変分推論法 / Variational Inference・変分ベイズ法 / Variational Bayes EP 法 / Expectation Propagation サンプリング法 / 確率的 モ…

【機械学習】情報量

機械学習 #まとめ編 yhayato1320.hatenablog.com Index Index 情報量 エントロピー / Entropy 相互情報量 交差エントロピー / Cross Entropy KL Divergence / 相対エントロピー JS Divergence 参考 書籍 Web サイト 情報量 エントロピー / Entropy 離散確率…

【深層学習】スコアベースモデル / Score Base Model / SBM

生成モデル yhayato1320.hatenablog.com Index Index スコア スコア導入のメリット 近似法 ランジュバン・モンテカルロ法 スコアベースモデル / Score Base Model / SBM スコアマッチング 明示的スコアマッチング / Explicit Score Matching / ESM 暗黙的ス…

【深層学習】エネルギーベースモデル / Energy Based Model / EBM

生成モデル yhayato1320.hatenablog.com Index Index エネルギーベースモデル / Energy Based Model / EBM エネルギー関数 分配関数 メリット / デメリット メリット デメリット 学習方法 MCMC 法 スコアベースモデル 応用 Restricted Boltzmann Machine / R…

【深層学習】Scaling Transformer

Transformer #まとめ編 yhayato1320.hatenablog.com Index Index Scaling Transformer Recurrent Memory 参考 Scaling Transformer GPT系は最大3万トークン入力で, 本手法は200万トークンが可能. Recurrent Memory 参考 Scaling Transformer to 1M tokens an…