【深層学習】LoRA

LoRA

LLMの微調整において重みの差分のみを訓練対象とし、 差分重みを低ランク分解することで訓練パラメータ数を削減する方法であるLoRAを提案.

精度低下なしで時空間計算量とチェックポイントのサイズを削減できる.

• Fine Turning
  • yhayato1320.hatenablog.com

参考

• LoRA: Low-Rank Adaptation of Large Language Models
  • [2021]
  • arxiv.org

Web サイト

• AI を自分好みに調整できる、追加学習まとめ ( その５: LoRA)

  • note.com
    
    

• 低ランク行列近似によるLLMの計算効率化手法

  • https://dosuex.com/entry/2023/03/30/115101dosuex.com
    
    

• 【インターンレポート】6.7B日本語モデルに対するLoRAチューニング

  • engineering.linecorp.com
    
    

• LoRA: Low-Rank Adaptation of
Large Language Models

  • speakerdeck.com