オムライスの備忘録

数学・統計学・機械学習・プログラミングに関することを記す

【深層学習】Chatbot #まとめ編

Index

ChatBot

自然現処理のタスクのひとつ.

Transformer を用いたアルゴリズムをまとめる.

Meena / 2020

Chatbot.

Blenderbot / 2020

サービス・アプリケーション

DeepSpeed-Chat

  • DeepSpeed Chat: ChatGPTライクなモデルを簡単・高速・低コストに、あらゆるスケールで学習

  • ChatGPTなどに使われる大規模言語モデルを従来のシステムよりも15倍高速・低コストで学習できる「DeepSpeed-Chat」をMicrosoftが公開

参考