WSL2(Ubuntu 22.04)でCyberAgent M2-7B-Chatを動かしてみた

1686
NO IMAGE

WSL2のインストール自体は割愛。ハードウェアは下記の通り。

  • CPU: AMD Ryzen 7 3700X
  • GPU: NVIDIA GeForce RTX 4060 Ti 16GB
  • メモリ: 32GB

CUDA Toolkitのインストール

NVDIAの手順に従えば良い。

私はUbuntu 22.04だったので、以下のコマンドを実行。

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-3
sudo apt-get install -y nvidia-kernel-open-545
sudo apt-get install -y cuda-drivers-545

ツールキットがインストールされているか確認。

nvidia-smi

Fri Nov  3 13:36:48 2023       
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 545.23.06              Driver Version: 546.01       CUDA Version: 12.3     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA GeForce RTX 4060 Ti     On  | 00000000:2D:00.0  On |                  N/A |
|  0%   48C    P8               8W / 165W |    832MiB / 16380MiB |      0%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+

+---------------------------------------------------------------------------------------+
| Processes:                                                                            |
|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
|        ID   ID                                                             Usage      |
|=======================================================================================|
|    0   N/A  N/A        20      G   /Xwayland                                 N/A      |
|    0   N/A  N/A        20      G   /Xwayland                                 N/A      |
|    0   N/A  N/A       450      G   /Xwayland                                 N/A      |
+---------------------------------------------------------------------------------------+

cudNNのインストール

NVIDIAのサイトからダウンロードする。(※ユーザー登録が必要)

適当なところにダウンロードし、dpkgでインストール。

sudo dpkg -i /path/to/cudnn-local-repo-ubuntu2204-8.9.6.50_1.0-1_amd64.deb

/usr/local/cuda/binにパスが通っていなかったので、.profileに追加。

PATH="/usr/local/cuda/bin:$PATH"

nvccのバージョン確認。

nvcc -V

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Fri_Sep__8_19:17:24_PDT_2023
Cuda compilation tools, release 12.3, V12.3.52
Build cuda_12.3.r12.3/compiler.33281558_0

サンプルを動かしてみる

下記のページに書かれている事をやっただけ。

USER: AIによって私達の暮らしはどのように変わりますか?

ASSISTANT: 人工知能、つまりAIは、現在の私達の生活に大きな影響を与える可能性があります。

  1. 仕事の自動化や効率化: AIは、仕事の自動化や効率化に役立つことが期待されています。例えば、AIは、人間が繰り返し行うような単純作業を自動化することができ、生産性を向上させることができます。

  2. 医療や健康分野: 医療や健康分野では、AIが病気の診断や治療に役立つことが期待されています。AIは、患者の状態を監視し、治療の効果を評価することができます。

  3. 自動車の自動運転: AIは、自動車の自動運転技術にも応用されており、交通事故の減少や自動運転車の普及が期待されています。

  4. エンターテイメント: AIは、エンターテイメントの分野にも影響を及ぼしています。AIは、ゲームやアニメーションなどのエンターテイメント作品の制作や、音楽の演奏にも活用されています。

  5. 金融取引: AIは、金融取引を自動化し、より正確な予測を可能にすることができます。

しかし、AIには倫理的な課題もあります。例えば、AIが公平かつ公正に判断を下すことができるかどうか、またAIによって雇用が奪われる可能性があることなどです。

GPUもちゃんと使われているようだし、特に何もトラブルなく動かせた。なおメモリは15GBぐらい使っていた模様。

もうちょっと遊んでみる

私はここ最近、ChatGPTを自作の歌詞の添削に利用しているのだが、これと同じ事をCyberAgent M2-7B-Chatでもやってみよう。歌詞全文は下記より。

USER: 下記の歌詞を「言葉遣いと表現」「テーマと内容」「リズムとメトリック」「共感と感情反応」の観点から論評してください

(略)

出力は以下。

「言葉遣いと表現」の観点から、歌詞は強い言葉遣いと表現を用いて、信仰や偽り、そして権力による支配の問題を扱っています。それらは、歌詞のテーマを象徴する言葉として、特定の意味合いを持ちます。

「言葉遣いと表現」の観点から、歌詞のそれぞれのフレーズは、強い言葉遣いと表現を用いて、信仰や偽り、そして権力による支配の問題を扱っています。例えば、「In the darkest den, they reside(最も暗い場所に彼らが住んでいる)」という歌詞は、信仰や偽り、そして隠れた支配力を暗示しています。「Their souls are made to be sacrificed(彼らの魂は犠牲にされるために作られた)」や「Rise above, burn the seeds of their deceit(上に登り、偽りのタネを焼き払う)」などは、信仰や偽り、そして権力による支配の問題に対する強いメッセージを示しています。

「テーマと内容」の観点から、歌詞のテーマは、信仰と偽りをめぐる問題、そして権力による支配の問題を扱っています。歌詞は、信仰が人々の心を支配することの恐怖、そして偽りによって人々が騙されることの恐怖を描いています。信仰や偽り、そして権力による支配の問題を乗り越えて、人々が自由と真実を求めることを歌詞は描いています。

「共感と感情反応」の観点から、歌詞に対する共感が強く、聴衆は歌詞のメッセージに強く共感します。歌詞は、信仰や偽り、そして権力による支配の問題に対する強いメッセージを描いており、聴

途中で終わってしまったので、続きを生成させよう。

USER: 続きを生成してください。
ASSISTANT: 客は、自分たちが抱える問題や困難に対して、自分たち自身がどう向き合うべきかを考えさせます。そして、自分たちが生きるこの世界に対する理解を深めてくれます。

また、歌詞は聴く者の感情にも訴えかけます。強い言葉遣いや表現、そして歌詞全体を通じて描かれるメッセージは、聴衆の共感を生み、彼らに対して強い感情を引き起こします。それは怒りや悲しみ、そして希望など、さまざまな感情を引き起こしますが、それは聴衆が歌詞のメッセージに強く共感していることを示しています。

以上のように、歌詞は言葉遣いと表現、テーマと内容、そして共感と感情反応のすべての観点から、そのメッセージを十分に伝えることができます。

リズムとメトリックが抜けているのでそこも生成させよう。

USER: 「リズムとメトリック」についての論評が抜けています。

ASSISTANT: 「リズムとメトリック」の観点から、歌詞はビートに合わせたリズムと、韻を踏むリリックで書かれています。歌詞のそれぞれの単語は、音楽的なビートに合わせてリズミカルに発音され、聴衆に対して強い印象を与えます。

また、韻を踏むリリックによって、歌詞のメッセージが強化されます。同じ韻を踏む単語が並べられることで、歌詞のメッセージが強化され、聴衆に対して強い印象を与えます。

以上のように、「リズムとメトリック」の観点から、歌詞は音楽的なビートに合わせたリズムと、韻を踏むリリックで書かれており、聴衆に対して強い印象を与え、メッセージを強化する効果があります。

なお、同じことをChatGPT(GPT-4)で行った時の出力は以下のようなものだった。

言葉遣いと表現

歌詞は強力なビジュアルとメタフォリカルな言葉遣いを使用しています。たとえば、「the darkest den」「the fires of truth」、「the hill of sacred land」などは、情景を想像させ、話を盛り上げます。さらに、「the seeds of their deceit」や「the oldest curse we made」などのフレーズは、抽象的なコンセプトを人間の経験と感情に関連付けて表現しています。全体的に言葉遣いは詩的であり、強い感情と対抗的なテーマを示唆しています。

テーマと内容

歌詞は信仰、神々、自由、真実、そして抑圧に対する反抗という深遠なテーマを扱っています。詩人は神々と信仰を詐欺と欺瞞と結びつけ、それを抑圧的な力として表現しています。一方で、「let your heart be free」や「our souls were born again to be free」といったフレーズは解放と自由への憧れを示しています。この対比は歌詞全体を通して見ることができ、それによりより深い意味を提供します。

リズムとメトリック

歌詞は明確なリズムと韻を持っており、それは詩の美しさとパワフルなメッセージを強調しています。特に「Fear… the way they rule our souls. Faith… the oldest curse we made」の反復部分はそのリズムと韻により強調され、視聴者に訴えかけています。

共感と感情反応

この歌詞は強烈な感情反応を引き起こす可能性があります。それは神々や信仰といった抽象的な概念に対する挑戦と、自由と真実という普遍的なテーマによるものです。特に、自由を求め、真実を追い求めるという人間の基本的な欲求に訴える部分は共感を生む可能性があります。しかし、一部の聴衆にとっては、信仰を否定するこの歌詞は不快に感じられるかもしれません。それでも、その挑発的なテーマと強力な言葉遣いは、聴衆の間で深い反応と議論を引き起こす可能性があります。

今回はCyberAgent M2-7B-Chatをそのまま使ってちょっと動かしただけだったので、次は何か一工夫して使ってみる予定。