【深層学習】LLaMA

• Transformer
  • yhayato1320.hatenablog.com

Index

LLaMA

応用

Chat LLaMA

• https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllamagithub.com

Alpaca / 2023

LLaMA (リャマ)の改善として、アルパカ.

学習済みモデル.

• Alpaca: A Strong Open-Source Instruction-Following Model

  • crfm.stanford.edu
  • github.com
  • https://alpaca-ai-custom6.ngrok.io/alpaca-ai-custom6.ngrok.io
    
    

• Alpaca-LoRA: Low-Rank LLaMA Instruct-Tuning

  • github.com
    
    

• Alpaca-LoRA まとめ

  • note.com
    
    

• Cleaned Alpaca Dataset

  • github.com
    
    

• alpaca_ja

  • github.com
    
    

• OpenLLaMA: An Open Reproduction of LLaMA

  • github.com

Self Instruct

• Self-Instruct: Aligning Language Model with Self Generated Instructions
  • arxiv.org

LLaMA-Adapter / 2023

• LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention
  • [2023]
  • arxiv.org
  • github.com

Vicuna

Chatbot.

• Vicuna

  • github.com
  • vicuna.lmsys.org
  • chat.lmsys.org
    
    

• Stability AIが世界初のオープンソースRLHF LLMチャットボットStableVicunaをリリース

  • ja.stability.ai

LLama 2

• 130億パラメータの「Llama 2」をベースとした日本語LLM「ELYZA-japanese-Llama-2-13b」を公開しました（商用利用可）

  • note.com
    
    

• Swallow: LLaMA-2 日本語継続事前学習モデル

  • zenn.dev

実装

• github.com

  • C++
    
    

• github.com
  
  

• OpenLLaMA: An Open Reproduction of LLaMA

  • github.com

参考

• LLaMA:OpenandEfficient Foundation Language Models
  • https://scontent-nrt1-2.xx.fbcdn.net/v/t39.8562-6/333078981_693988129081760_4712707815225756708_n.pdf?_nc_cat=108&ccb=1-7&_nc_sid=ad8a9d&_nc_ohc=0JlbsRuMCfYAX9XrMTU&_nc_ht=scontent-nrt1-2.xx&oh=00_AfDs-juSPU8CDlgswZ38ChtJ4ZsyM-3wdaKIJ2QRbAlXFw&oe=63FDD562
  • research.facebook.com
  • github.com

Web

1. Alpaca / アルパカ
2. Vicuna / ビクーニャ
3. Guanaco / グアナコ
4. FreedomGPT
5. GPT4All
6. ChatDoctor
7. OpenFlamingo / フラミンゴ
8. Koala / コアラ
9. Baize

Tweet

Metaが公開した言語モデル「LLaMA🦙」から派生(微調整)したモデル一覧

①Alpaca🦙(アルパカ)
②Vicuna🦙(ビクーニャ)
③Guanaco🦙(グアナコ)
④FreedomGPT🤪
⑤GPT4All🙂
⑥ChatDoctor🏥(ドクター)
⑦OpenFlamingo🦩(フラミンゴ)
⑧Koala🐨(コアラ)
⑨Baize🐲(中国の民間伝承による架空の生物らしい)

— 小猫遊りょう（たかにゃし・りょう） (@jaguring1) April 4, 2023

動画

• LLaMA: Open and Efficient Foundation Language Models (Paper Explained)
  • www.youtube.com