OPT-175Bは1750億のパラメータを持つ自然言語処理（NLP）ベースのモデルで、AI研究コミュニティに広く利用可能にすることを目指しています。このモデルは、既存のオープンソースの対話モデルと比較して評価され、その性能は一部のタスクではReddit 2.7Bモデルを大幅に上回ることが確認されています。
Meta AIが開発したOPT-175Bは、1750億のパラメータを持つ大規模言語モデルで、自然言語処理（NLP）に基づいています。このモデルは、公開データセットを使用して訓練され、広範なAI研究コミュニティに利用可能にすることを目指しています。OPT-175Bのリリースは、大規模言語モデル（LLM）へのアクセスを民主化し、研究でのLLMの使用を刺激することを目的としています。
Meta AIは、OPT-175Bを無料で提供しており、訓練済みのモデルと訓練用のコードも一緒に提供しています。このコードは、Nvidia V100 GPUが16台あれば実行可能で、これにより、AI訓練に通常必要とされるリソースを持たない科学者たちにもモデルが利用可能になります。OPT-175Bは、125Mから175Bのパラメータを持つデコーダのみの訓練済みトランスフォーマのスイートで、BartDecoderと同じアーキテクチャを持ち、すべてのプロンプトの先頭にEOSトークンを追加します。
OPT-175Bは、既存のオープンソースの対話モデル、特に微調整されたBlenderBot 1と比較して評価され、すべてのタスクで監督なしのReddit 2.7Bモデルを大幅に上回ることが確認されています。しかし、OPTは一貫してGPT-3を下回る性能を示し、一発試験や少数試験の設定がGPT-3とは大きく異なる可能性があると推測されています。OPT-175BはPaLMやDavinciよりも高い毒性率を持ち、これらのモデルはプロンプトの毒性が増すと毒性のある続きを生成する可能性が増します。
要するに、OPT-175BはMeta AIが開発した大規模言語モデルで、1750億のパラメータを持ち、NLPに基づいています。これは、広範なAI研究コミュニティに利用可能にすることを目指した初の1750億パラメータの言語モデルであり、LLMへのアクセスを民主化することを目指しています。OPT-175Bは、125Mから175Bのパラメータを持つデコーダのみの訓練済みトランスフォーマのスイートで、既存のオープンソースの対話モデルと比較して評価されています。
関連ニュース：
https://www.techzine.eu/news/analytics/78312/meta-opens-llm-ai-model-opt-175b-to-the-public/
(了)
※この記事は生成AIを活用して執筆しました
