大規模言語モデルXwin-LMとGPT-4の回答を比較してみました

Xwin-LMとは

Xwin-LMとは、中国科学院と精華大学の研究者によって開発された大規模言語モデルで、MetaのLlama 2を基盤にしたものです。

公開された3種類のモデルの中で、700億パラメータのモデルは、AlpacaEvalの評価でGPT-4を超えて第1位を取得したようですね。

早速、google colabで実装してみました。
モデルは７０Bのやつですので、７００億パラメータのものです。

下記にプロンプトをいれてのテキスト生成をやってみました。
比較用にGPT-4のやつも載せておきます。

体感ですが、やはりGPT-4の方が、正確で速いイメージです。
ただこの辺はGPUの性能も影響しているので何とも言えないところですが。

google colab
A100
ハイメモリ
での体感です。

では下記が回答です。

Xwin-LMとGPT-4の回答を比較してみました。機械学習系

Xwin-LM
質問　ニューラルネットワークのバックプロパゲーションの仕組みを詳しく説明してください

回答
バックプロパゲーションは、ニューラルネットワークの学習アルゴリズムの一つで、誤った予測や不適切な出力を生成した場合に、誤差を最小化するために適切な重みを調整する方法です。

バックプロパゲーションでは、誤差の値に基づいて、隠れ層のノードと出力層のノードとの間の重みを調整します。これにより、モデルは誤差を減らし、より正確な予測や出力を生成できるようになります。

バックプロパゲーションの仕組みは以下の通りです。

1. 教師データ（正解のラベル）と実際の出力を比較し、誤差を計算します。

2. 誤差を使用して、隠れ層のノードと出力層のノードとの間の重みを調整します。誤差が大きい場合、重みは大きく調整されます。

3. 隠れ層のノードの活性化値を更新し、出力層のノードに適用します。これにより、誤差が最小化されるように出力が調整されます。

4. 隠れ層のノードと入力層のノードとの間の重み→

＊＊＊＊＊

GPT-4
質問　上記と同じ

回答
バックプロパゲーション（Backpropagation）は、ニューラルネットワークを訓練する際の主要なアルゴリズムの一つです。このアルゴリズムは、ネットワークの出力と目標出力との間の誤差を最小化するために、ネットワークの重みを調整します。

以下に、バックプロパゲーションの基本的なステップを詳しく説明します：

順伝播（Forward Propagation）
入力データをネットワークの入力層から出力層まで伝播させ、各ニューロンの出力を計算します。
この際、各層のニューロンの出力は、重み付きの入力の合計に活性化関数を適用することで得られます。

誤差の計算
ネットワークの出力層での出力と目標出力との差（誤差）を計算します。
この誤差は、損失関数（例：平均二乗誤差）を用いて計算されることが多いです。
誤差の逆伝播（Backward Propagation）

出力層から入力層に向かって、誤差を逆伝播させます。
各ニューロンの誤差に対する貢献度（誤差に対する偏微分）を計算します。これは、連鎖律を使用して計算されます。

重みの更新
計算された偏微分を使用して、各重みを更新します。
重みの更新には、学習率というハイパーパラメータが使用されます。学習率は、重みの更新の大きさを制御します。
重みの更新式は、以下のようになります：

Xwin-LMとGPT-4の回答を比較してみました。文学系

もういっちょやってみます。
お次は文学系で。

Xwin-LM

質問
村上春樹の作品の中で、彼のスタイルやテーマが最も顕著に表れているものは何ですか？その理由も合わせて説明してください。

回答
村上春樹の作品で最もスタイルやテーマが顕著に表れているものは、『羊の歴史』です。この小説は、独自の文体と鋭い観察眼を武器に、現代社会の問題を問い直す作品です。

その理由は以下の通りです。

1. 文体: 村上春樹は、独特の文体で知られています。『羊の歴史』でも、独特の文体で現代社会の問題を浮き彫りにしています。

2. 観察眼: 村上春樹は、現代社会の問題を鋭い観察眼で捉えています。『羊の歴史』では、個人の自由と社会的責任のバランス、異文化間の対話、そして暴力と戦争の悲劇など、現代社会が直面する複雑な問題を描きます。

3. テーマ: この小説では、個人の自己実現という村上春樹の代表的なテーマが繰り広げられます。主人公の青年は、羊の皮をかぶった姿で暮らすことで、社会的な拘束から解放され、自己実現に向けて成長していきます。

このように、『羊の歴史』は→

＊＊＊＊＊

GPT-4
質問　同じ質問

回答
村上春樹は多くの作品を手がけており、彼のスタイルやテーマは多岐にわたりますが、特に「ノルウェイの森」や「1Q84」などが彼の代表的なスタイルやテーマを色濃く反映していると言われています。

ノルウェイの森:
この作品は、村上春樹の初期の作品であり、彼のリアルでありながらも夢のような文体や、孤独や愛、死といったテーマが織り交ぜられています。

青春時代の混乱や葛藤、そして成熟への過程を通じて、人間の心の奥深さや複雑さを描き出しています。

1Q84:
この作品は、村上春樹の後期の作品であり、彼の特徴的なマジックリアリズムや複雑な物語性が顕著に表れています。
二つの異なる世界や時間の流れ、そしてそれらの間で繋がり合う人々の運命や愛を中心に、彼の独特の哲学や世界観が展開されています。

理由:
村上春樹の作品は、日常の中に潜む非日常や神秘性を巧みに描き出すことで知られています。彼の作品には、現実と夢、意識と無意識の境界が曖昧になるような独特の雰囲気やリズムがあります。

また、彼の作品には、孤独や愛、死、運命といった普遍的なテーマが織り込まれており、それらのテーマを通じて人間の心の奥深さや複雑さを探求しています。

これらの理由から、特に「ノルウェイの森」や「1Q84」は、村上春樹のスタイルやテーマが最も顕著に表れている作品と言えるでしょう。

大規模言語モデルXwin-LMとGPT-4の回答を比較してみましたのまとめ

Xwin-LMは、結構レベルが高いですね。
Llama2を元に開発しただけあって、精度は高いかもです。

あとはスピードですかね。

トータルの評価だとまだまだGPT-4の方が上でしょうか。
パラメータの数が圧倒的に違うので、仕方がないかもです。

ただLlama2はちょっと気になる存在ですね。
オープンソースだし、いろいろいじっても無料ですしね。

今後も期待です。

#Xwin-LM #gpt4と比較 #llm #大規模言語モデル