オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【機械学習】強化学習 / Reinforcement Learning

Index

強化学習 / Reinforcement Learning

機械学習の学習方法の枠組みの中の一つ.

アルゴリズム

Gato / 2022

2022年5月に DeepMind が発表したGatoは、テキストや画像などの出力だけでなく、様々なアクションまでも実行できる多機能なマルチモーダルAI.

Policy-Space Response Oracles / PSRO / 2023

Controllability-aware Skill Discovery / CSD /2023

  • Controllability-Aware Unsupervised Skill Discovery

Reusable Slotwise Mechanisms / RSM

  • Reusable Slotwise Mechanisms

Scaled Q-learning / 2023

テクニック・工夫

Imitation Learning / 模倣学習

Meta Reinforcement Learning

Adaptive Agent / AdA / 2023

  • Human-Timescale Adaptation in an Open-Ended Task Space

Transformer

Curriculum Reinforcement Learning / CRL

GRADIENT / 2023

ELLM / Exploring with LLMs / 2023

Intrinsic Performance

単一AgentのRLにおけるべき乗則を示すため導入.

モデルサイズ・環境へのインタラクションについてべき乗則が見られた.

計算予算と最適なモデルサイズもべき乗則に従う.



Offline

Cal QL / 2023

  • Cal-QL: Calibrated Offline RL Pre-Training for Efficient Online Fine-Tuning

Synthetic Experience Replay / SynthER / 2023

  • Synthetic Experience Replay

Dataset / Benchmark

ManiSkill2 / 2023

  • ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills

研究

オフライン強化学習とTransformerにおいて、 テキストコーパスによる事前学習済みモデルが無関係な下流タスク(例:Atariのゲーム)に転移できる.



自然言語処理 / NLP への応用

環境

Alexa Arena / 2023

参考

書籍

Web サイト