オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】SegMoE

Index

SegMoE

SegMoE は、テキストなどのプロンプトから画像を生成する.

特徴

  1. 高い効率性: 複数のモデルを混合することで、処理速度を大幅に向上

  2. 高い柔軟性: 様々な種類の画像を生成

  3. 高い拡張性: 新しいモデルを簡単に追加することができる

アーキテクチャ

SegMoEは以下の3つの主要なコンポーネントで構成されている.

  • Experts Model : 複数の異なるモデルで構成されてる
  • router: 各トークンがどのエキスパートモデルによって処理されるかを決定する
  • 混合器?: 各エキスパートモデルの出力を統合

参考

  • SegMoE: Segmind Mixture of Diffusion Experts

  • SegMoE: Segmind Mixture of Diffusion Experts の概要

【データセット】Driving Event Camera Dataset (Samsung DVS Gen3)

Driving Event Camera Dataset (Samsung DVS Gen3)

「High Speed and High Dynamic Range Video with an Event Camera」の論文で作成されたデータセット.

データセットは、チューリッヒを走行する車のフロントガラスに設置された VGA (640x480) イベント カメラ (Samsung DVS Gen3) と従来の RGB カメラ (Huawei P20 Pro) で記録された多数のシーケンスで構成されている.



参考

【深層学習】Hyena

Index

Hyena

【統計学】劣度 / Kurtosis

Index

劣度 / Kurtosis

期待値、分散によって確率分布の様子はある程度わかるが、 位置とばらつきだけで確率分布の形がひととおりに決まるわけではない.

例えば、非対称ならばどちらへ歪んでいるかを表さなければならない.

確率分布の形が、つりがね型か、それより尖った尖塔型か、平型かをも知る必要がある.

確率分布の形状を知るための指標はいくつもある.

劣度 / Kurtosis は、そのうちの一つで、尖りの程度を表す指標である.

定義

劣度 / Kurtosis の定義

\alpha_{4}\ =\ \displaystyle \frac{E[X\ -\ \mu]^{4}}{\sigma^{4}}



これは、中心の周囲の部分の尖り具合を表す.

正規分布の \alpha_{4}\ =\ 3 と比較して、 \alpha_{4}\ -\ 3 を指標として利用する.



これを X の劣度 / Kurtosis (超過係数) と呼ぶ.



\alpha_{4}\ -\ 3\ >\ 0 ならば正規分布よりも尖っており、 \alpha_{4}\ -\ 3\ >\ 0 ならば正規分布よりも丸く鈍い形をしている.

参考

【統計学】歪度 / Skewness

Index

歪度 / Skewness

期待値、分散によって確率分布の様子はある程度わかるが、 位置とばらつきだけで確率分布の形がひととおりに決まるわけではない.

例えば、非対称ならばどちらへ歪んでいるかを表さなければならない.

確率分布の形が、つりがね型か、それより尖った尖塔型か、平型かをも知る必要がある.

確率分布の形状を知るための指標はいくつもある.

歪度 / Skewness は、そのうちの一つで、非対称性の指標である.

定義

歪度 / Skewness の定義

\alpha_{3}\ =\ \displaystyle \frac{E[X\ -\ \mu]^{3}}{\sigma^{3}}



これを X の歪度 / Skewness (歪度係数) と呼ぶ.



\alpha_{3}\ >\ 0 ならば右の裾が長く、 \alpha_{3}\ <\ 0 ならば左の裾が長い.

参考

【統計学】度数分布

Index

度数分布

度数分布は、観測値のとりうる値をいくつかの 階級 Class にわけ、それぞれの階級で観測値がいくつあるか 度数 Frequency を数えて、表にしたもの.

階級 / Class

階級値

階級値とは階級を代表とする値のこと.

各階級の中で、観測値は一様に分布していると仮定して、 階級の上限値と下限値の中央値を階級値とすることがよくある.

度数 / Frequency

相対度数 / Relative Frequency

相対度数 / Relative Frequency は観測値の総数、 すなわちデータの全体を 1 としたときの、各階級に属する観測値の個数の 全体中での割合を示す.

累積度数 / Cumulative Frequency・累積相対度数 / Cumulative Relative Frequency

累積度数 / Cumulative Frequency・累積相対度数 / Cumulative Relative Frequency とは、度数を下の階級から順に積み上げたときの度数、相対度数の累積和である.

ヒストグラム

度数分布は、一般にヒストグラムと呼ばれるグラフが描かれる.

ヒストグラムは、横軸に観測値のとりうる値をとり、それぞれの階級に対して 階級幅を横幅とし柱の面積が度数と比例するように高さを定める.

参考

【機械学習】ジャックナイフ法

Index

ジャックナイフ法

参考

書籍