機械学習 #まとめ編 yhayato1320.hatenablog.com Index Index Liquid Neural Network 参考 Web サイト Liquid Neural Network 参考 Closed-form Continuous-time Neural Models [2021] arxiv.org Web サイト Researchers Discover a More Flexible Approach …

Index Index Slot Attention 参考 Slot Attention Attention #まとめ編 画像処理 yhayato1320.hatenablog.com 参考 Object-Centric Learning with Slot Attention [2020] arxiv.org

Index Index 自己教師あり学習 / Self Supervised Learning DeepLearning における工夫・テクニック Visual Prompting / 2022 Energy-Based Contrastive Learning / EBCLR / 2022 MAGE / 2022 Cut-and-LEaRn / CutLER / 2023 Joint Embedding Self-Supervise…

Index Index BART モデル 参考 Web サイト BART Transformer yhayato1320.hatenablog.com モデル ku-nlp/bart-large-japanese huggingface.co 参考 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and C…

深層学習 #まとめ編 yhayato1320.hatenablog.com Small Data 参考 A Survey of Learning on Small Data [2022] arxiv.org 動画 【Deep Learning研修（発展）】少データ・少ラベル学習 www.youtube.com

Index Index Keypoint Detection / Pose Estimation 参考 Keypoint Detection / Pose Estimation 画像 (2次元) における Keypoint Detection / Pose Estimation の 3次元からのアプローチ. Keypoint Detection / Pose Estimation 画像処理手法 yhayato1320.h…

Index Index 強化学習 / Reinforcement Learning アルゴリズム Decision Transformer / 2022 Preference Transformer / 2023 transformer-based world model / TWM / 2023 強化学習 / Reinforcement Learning Transformer を利用した強化学習の手法をまとめ…

Index Index Decision Transformer 応用 Multi-Game Decision Transformers / 2022 ESPER / 2022 参考 Web サイト Decision Transformer オフライン強化学習の問題を言語モデリングようにして解くTransformer. 強化学習 Transformer を用いた手法 yhayato132…

Index Index 画像生成 / Image Generation アルゴリズム Relightable Hands / 2023 タスク スタイル変換 / Style Transfer Image Restoration / Super Resolution / 画像補間 Perpetual View Generation テクニック・工夫 生成モデル Meric / 精度指標 Incep…

深層学習 #まとめ編 yhayato1320.hatenablog.com Index Index Transfer Learning / 転移学習 メリット デメリット Knowledge Transfer Network / KTH / 2022 研究 Offsite-Tuning 参考 Web サイト Transfer Learning / 転移学習 「ある領域の学習」で得た知…

Index Index Chinchilla 計算コストの削減 参考 参考 Chinchilla Chinchilla 700億のパラメーターを持つLLM. Transformer #まとめ編 yhayato1320.hatenablog.com 計算コストの削減 言語モデルの「パラメーターのサイズ」と「トレーニングに使用されるデータ…

Index Index Alignment / 協調性 Instruct GPT 参考 Alignment / 協調性 LLM は、様々なタスクに適応する能力を有している一方、生成される文章の品質や正確さは最適とは言えない. LLM yhayato1320.hatenablog.com そこで、LLM の「Alignment / 協調性」とい…

Index Index Flamingo 事前学習済みモデル LLM Architecture Vision Language Model / VLM 画像エンコーダー / Vision Encoder Perceiver Resampler Cross Attention 実装 参考 Web サイト Flamingo 1つの学習済みモデルだけで、 Language : テキスト Vision…

Index Index SGT Architecture Shared Detector Sparse Graph Tracker Tot-K Scored detections Sparse Graph Builder Graph Neural Network Message Passing Process Edge Classifier Node Classifier 精度評価 MOT HiEve 実装 参考 SGT GNN を用いた Objec…

深層学習 #まとめ編 yhayato1320.hatenablog.com Index Index 基盤モデル / Foundation Model テクニック・工夫 TaskMatrix.AI / 2023 研究 参考 Web サイト 基盤モデル / Foundation Model テクニック・工夫 TaskMatrix.AI / 2023 TaskMatrix.AI: Completin…

Index Index Action Recognition アルゴリズム 3D-CNN + Bi-LSTM / 2011 Bridge-Prompt / 2022 AIM / 2023 YOWO v2 / 2023 参考 Action Recognition 動画像内での物体の動きを認識する. 動画像処理 yhayato1320.hatenablog.com アルゴリズム 3D-CNN + Bi-LST…

Index Index Image Editing アルゴリズム pix2pix-zero / 2023 In-N-Out / 2023 SeMani / 2023 HIVE / 2023 テクニック・工夫 Diffusion Model 精度評価 Delta Denoising Score / DDS 参考 Image Editing Style Transfer のように、画像を変換する. スタイル…

Index Index Neural Field アルゴリズム Neural Radiance Field / NeRF / 2020 - Spatial Functa / 2023 vMAP / 2023 polynomial neural fields / PNF / 2023 参考 Neural Field 深層学習 #まとめ編 yhayato1320.hatenablog.com アルゴリズム Neural Radianc…

Index Index Neural Radiance Field / NeRF アルゴリズム Neural Radiance Field / NeRF / 2020 SNeRF / 2022 NeROIC / 2022 EVA3D / 2022 Block-NeRF / 2022 LASER / 2023 RecolorNeRF / 2023 AV-NeRF / 2023 Incremental Neural Videos / INV / 2023 Blend…

機械翻訳 / Machine Translation yhayato1320.hatenablog.com Index Index アルゴリズム Dual Learning / 2016 No Language Left Behind / NLLB / 2022 BMT / 2023 CD ID MMT / 2023 DIPMT / 2023 参考 アルゴリズム Dual Learning / 2016 Dual Learning yha…

Index Index Image Retrieval アルゴリズム Pic2Word / 2023 参考 Image Retrieval 画像を使って、検索を行うタスク. 画像処理 #まとめ編 yhayato1320.hatenablog.com アルゴリズム Pic2Word / 2023 Pic2Word: Mapping Pictures to Words for Zero-shot Comp…

Index Index Chain-of-Thought プロンプト 改善内容 工夫・テクニック Automatic Reasoning and Tool-use / ART / 2023 画像への応用 参考 Web サイト Chain-of-Thought LLM におけるコンテキスト内学習 / In Context Learning での工夫. コンテキスト内学習…

Index Index Depth Estimation アルゴリズム DEPTH IN CONTRASTIVE LEARNING / 2023 ZoeDepth / 2023 工夫・テクニック Diffusion Model VI-Depth / 2023 動画像への応用 参考 Depth Estimation 画像処理のタスクの一つ. 画像処理 #まとめ編 yhayato1320.hat…

Index Index コンテキスト内学習 / In Context Learning プロンプト 改善手法 Chain-of-Thought / CoT / 2022 Zero-shot-CoT / 2022 semantically-unrelated label ICL / SUL-ICL / 2023 研究 参考 Web サイト コンテキスト内学習 / In Context Learning 推…

深層学習 #まとめ編 yhayato1320.hatenablog.com Index Index モデルの編集 / Model Editing post-hoc uncertainty learning 参考 Web サイト モデルの編集 / Model Editing post-hoc uncertainty learning Bayesian meta-modelbased uncertainty learning a…

深層学習 #まとめ編 yhayato1320.hatenablog.com Index Index 評価 3DB / 2021 α-ReQ / 2022 When does dough become a bagel? / 2022 Benchopt / 2022 Pythae / 2022 OpenOOD / 2022 MAUVE Score / 2022 Complexity Gap score / CG-score / 2023 LAVA / 202…

深層学習 #まとめ編 yhayato1320.hatenablog.com Index Index モデルへの攻撃 Adversarial Example Reconstructing Training Data Backdorr / バックドア攻撃 Handcrafted Backdoors 参考 モデルへの攻撃 Adversarial Example Reconstructing Training Data …

Index Index 平坦解 / Flat Minima 参考 Webサイト 平坦解 / Flat Minima 深層学習がうまくいく理由を説明する仮説のひとつ. 深層学習 #まとめ編 yhayato1320.hatenablog.com パラメータ空間で損失関数がとる曲面を考えたときに、「周辺が平坦な解」の汎化誤…

Index Index Scaling Law / スケーリング則 参考 Webサイト Scaling Law / スケーリング則 深層学習の学習済みモデルの精度についての研究. 深層学習 #まとめ編 yhayato1320.hatenablog.com 性能は、「訓練ステップ数」、「データセットサイズ」、「パラメー…

Index Index Grokking 参考 Webサイト Grokking 深層学習における解明中の現象のひとつに Grokking (「腑に落ちる」) がある. 深層学習 #まとめ編 yhayato1320.hatenablog.com 過学習して、しばらく経ってから、急に汎化誤差が降り始める現象. 参考 Grokking…