- Transformer
Index
Pathways Language Model / PaLM
2022年4月にGoogleは、自然言語処理に関する複数種類のタスクを処理できる
5400 億のパラメーターを持つ PaLM (Pathways Language Model) を発表.
1つの機械学習モデルで最大数百万種類のタスクに対応できるという万能の人工知能で、
Googleは今回、Pathwaysシステムを使って、自然言語による質問応答や文章生成などができる言語モデルのPaLMを実装.
応用
Minerva / 2022
PaLM を数学や物理の問題集でファインチューニングした.
- Solving Quantitative Reasoning Problems with Language Models
- [2022]
- arxiv.org
U-PaLM
追加学習で幅広く性能を向上させた.
Flan-PaLM
人の指示に従うように改善
Flan-U-PaLM
Med-PaLM
医学のドメインを学習.
PaLM-Coder
コードのついて学習
PaLM-E
最大の視覚・言語モデル.
PaLM2 / Bard
PaLM2はGoogleの言語モデルPaLMの後継.
GPT-4同様、学習手法、モデル詳細の報告はないが、後続単語予測以外の複数の目的関数を組み合わせ（c.f. UL2）、投入計算量を増やし、PaLMよりモデルサイズは小さくし、非英語の多言語データを増やす.
後続タスク性能はGPT-4と同水準.
GPT-4同様、学習手法、モデル詳細の報告はないが、後続単語予測以外の複数の目的関数を組み合わせ（c.f. UL2）、投入計算量を増やし、PaLMよりモデルサイズは小さくし、非英語の多言語データを増やす.
後続タスク性能はGPT-4と同水準.
PaLM2はGoogleの言語モデルPaLMの後継。GPT-4同様、学習手法、モデル詳細の報告はないが、後続単語予測以外の複数の目的関数を組み合わせ（c.f. UL2）、投入計算量を増やし、PaLMよりモデルサイズは小さくし、非英語の多言語データを増やす。後続タスク性能はGPT-4と同水準https://t.co/dsQ0xw71go
— Daisuke Okanohara / 岡野原 大輔 (@hillbig) May 10, 2023
PaLM2 Technical Report
