オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【時系列解析】Transformer #まとめ編

データサイエンス データサイエンス-時系列解析

Index

Transformer

時系列解析における Transformer の手法をまとめる.

アルゴリズム

Autoformer / 2021

TimesNet / 2022

  • TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis

Scaleformer / 2022

Crossformer / 2023

TimesFM / 2024

  • A decoder-only foundation model for time-series forecasting

参考

  • Transformers in Time Series: A Survey

Web サイト

  • github.com
    • Transformer を利用した時系列解析の手法のまとめ

【深層学習】DETR #実装編 #01

データサイエンス データサイエンス-深層学習

Index

DETR

前置き

タスク

物体検出 / Object Detection.

また、検出された物体が、画像のどの部分に注目されていたのかという情報も セグメント画像として、作成する.

データセット

  • COCO

実装

【深層学習】Parallel Decoding

データサイエンス データサイエンス-深層学習

Index

Parallel Decoding

参考

  • Parallel WaveNet: Fast High-Fidelity Speech Synthesis

  • Non-Autoregressive Neural Machine Translation

  • Mask-Predict: Parallel Decoding of Conditional Masked Language Models

  • BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

【機械学習】Info NCE

データサイエンス データサイエンス-機械学習

Index

Info NCE

対照学習の目的関数の一つ.

参考

  • Representation Learning with Contrastive Predictive Coding

【機械学習】Info LOOB

データサイエンス データサイエンス-機械学習

Index

Info LOOB

対照学習の目的関数の一つ.

Leave One Out Bound

参考

  • On Variational Bounds of Mutual Information

    • [2019]
    • Leave one out upper bound と呼ばれている
    • arxiv.org

  • CLUB: A Contrastive Log-ratio Upper Bound of Mutual Information

    • [2020]
    • L1Out と呼ばれている
    • arxiv.org

【深層学習】CLOOB

データサイエンス データサイエンス-深層学習

Index

CLOOB

CLIP の改善手法.

Contrastive Leave One Out Boost



Info NCE ではなく、Info LOOB に.

Hopfield Network を導入.

Architecture

参考

  • CLOOB: Modern Hopfield Networks with InfoLOOB Outperform CLIP
    • [2021]
    • Abstract
    • 2 CLOOB: InfoLOOB with Modern Hopfield Networks
    • 3 InfoLOOB for Contrastive Learning
    • 4 Modern Hopfield Networks for Enriching the Covariance Structure and Cueing
    • arxiv.org

【深層学習】CLIP #実装編 #03

データサイエンス データサイエンス-深層学習

Index

CLIP とは

前置き

タスク

画像とテキストの類似度を測定する.

データセット

犬.

学習済みモデル

日本語のモデルを作成してくださっているので、利用させていだだく.

  • 日本語の学習済みモデル

    • prtimes.jp
    • CLIP と CLOOB の学習済みモデル

  • huggingface.co

    • huggingface のページ

スクリプト

スクリプトは、rinna さんのコードを利用させていただく.

実装