オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

トップ > データサイエンス > 【深層学習】Large Language Model / LLM

【深層学習】Large Language Model / LLM

データサイエンス データサイエンス-深層学習 データサイエンス-自然言語処理

Index

Large Language Model / LLM

アルゴリズム

LaMDA / 2022

LM-DESIGN / 2023

  • Structure-informed Language Models Are Protein Designers

Clinical-T5 / 2023

  • Do We Still Need Clinical Language Models?

LEALLA / 2023

GLM-Dialog / 2023

中国語？

  • GLM-Dialog: Noise-tolerant Pre-training for Knowledge-grounded Dialogue Generation

BitNet / 2023

BitNet b1.58 / 2024

  • The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits

  • Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ

テクニック・工夫

Expert LM vs MultiTask LM

Expert LM / 2023

  • Exploring the Benefits of Training Expert Language Models over Instruction Tuning

Open AGI

Prompting

入力に対する工夫.

Reinforcement Learning

Fine Turning

Parameter Efficient Fine Tuning / PEFT

LLM-Adapters / 2023

  • LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models

LIMA: Less Is More for Alignment

Instruction Tuning

研究

  • Fine-tuning language models to find agreement among humans with diverse preferences

Pre Training

Unnatural Instructions / 2023

  • Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor

Alignment / 協調性

LLM は、様々なタスクに適応する能力を有している一方、生成される文章の品質や正確さは最適とは言えない.

そこで、LLM の「Alignment / 協調性」という概念がある.

ユーザの指示を汲み取って適切な返答をするだけではなく、「社会通年に反しない」のような要求も含まれる.

Watermark / 2023

「透かし」を入れることで、言語モデルが生成したテキストかどうかを判別させる研究.

トークンの禁止リストと許可リストを作り、許可リストのみからサンプリングをする.

人間の文書は禁止リストを含んだ文書になるため、人間が書いたものかを統計的な尺度で判別できる.



  • A Watermark for Large Language Models

Conversational APR / 2023

  • Conversational Automated Program Repair

Hindsight Instruction Relabeling / HIR / 2023

  • The Wisdom of Hindsight Makes Language Models Better Instruction Followers

Gradient-Based Automated Iterative Recovery / GBAIR / 2023

  • Gradient-Based Automated Iterative Recovery for Parameter-Efficient Tuning

RECITation-augmented gEneration / RECITE / 2023

  • Recitation-Augmented Language Models

LLM-AUGMENTER / 2023

  • Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback

MUX-PLMs / 2023

  • MUX-PLMs: Pre-training Language Models with Data Multiplexing

FlexGen / 2023

限られた GPU メモリで LLM を実行するための高スループット生成エンジン.

Universal Prompt Retrieval for Improving zero-Shot Evaluation / UPRISE / 2023

  • UPRISE: Universal Prompt Retrieval for Improving Zero-Shot Evaluation

AnnoLLM / 2023

  • AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators

Self-Refine / 2023

  • Self-Refine: Iterative Refinement with Self-Feedback

研究

  • Adding Instructions during Pretraining: Effective Way of Controlling Toxicity in Language Models

  • AutoBiasTest: Controllable Sentence Generation for Automated and Open-Ended Social Bias Testing in Language Models

  • LLMMaps -- A Visual Metaphor for Stratified Evaluation of Large Language Models

    • [2023]
    • LLM の評価と表現の可視化
    • arxiv.org

サービス・アプリケーション

OpenICL

OpenChatKit

GPT-NeoXベースでinstruction-tuningされたオープンな20Bモデル. 6Bの不適切発話判定モデル，43M件のデータセットOIG，20万件の不適切発話データセットOIG-moderationを提供.



LangChain

Dolly

  • Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM

  • Hello Dolly: オープンなモデルでChatGPTの魔法を民主化する

-Free Dolly: 世界初の真にオープンな指示でチューニングされたLLM - qiita.com

StableLM

Trained Models.

LLM Zoo

LMQL / Language Model Query Language

  • LMQL(Language Model Query Language)概観

OpenCALM-7B

cyberagent

NLLB

Galatica

LLM Collection

PLaMo / 2023

Karasu / Qarasu / 2023

参考

  • Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey

  • Dissociating language and thought in large language models: a cognitive perspective

  • Creating a Large Language Model of a Philosopher

  • A Survey of Large Language Models



  • Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond

書籍

Web サイト

https://note.com/npaka/n/n1d99253ae2cf

Tweet



動画