PC で Meta's Llama 3 を実行する方法

以前は Facebook として知られていた会社である Meta は、大規模言語モデルの最新バージョンである Llama 3 を最近発表しました。 この高度なモデルには、80 億 (8B) パラメータ バージョンと 700 億 (70B) パラメータ バージョンの 2 つのバージョンがあります。 この記事では、Llama 3 の 8B パラメータ バージョンをローカルで実行する方法について説明します。これは、より大きな 70B バージョンを実行するのが難しい標準的なデスクトップまたはラップトップにとって、より実現可能なオプションです。

Llama 3 のパフォーマンス概要

Llama 3 は印象的な大規模言語モデルです。 130 万時間の GPU 時間を使用してトレーニングされた 8B パラメーター バージョンは、いくつかの点で前世代の Llama 2 を上回ります。 たとえば、Llama 2 の 70 億パラメータ バージョンより 34% 優れており、130 億パラメータ バージョンより 14% 優れています。 注目すべきことに、Llama 3 の 8B パラメータ バージョンは、130 億パラメータ バージョンの Llama 2 のパフォーマンスさえも上回っています。Llama 2 の 70B パラメータ バージョンと比較した場合、わずか 8% しか満たされておらず、そのサイズの割に印象的なモデルとなっています。

Llama 3 の 8B パラメータ バージョンのナレッジ カットオフ日は 2023 年 3 月ですが、70B バージョンは 2023 年 12 月までです。その結果、この 2 つの間には現実世界の情報の不一致が生じます。

Windows 上で Llama 3 を実行するには、LM Studio を使用します。

1. 始めるには、にアクセスしてください lmstudio.ai ご使用のシステムに適切な LM Studio バージョンをダウンロードします。
2. ダウンロードしたら、LM Studioをインストールします。
3. LMスタジオを開きます。
4. LM Studio に入ったら、Llama 3 モデルがダウンロードされていることを確認します。 すでにインストールされている場合は、ホームページに表示されるはずです。 そうでない場合は、検索バーまたは左側の垂直バーの検索アイコンを使用して検索し、ダウンロードします。
5. Llama 3 がインストールされたら、 AIチャット LM Studio 内の左側の垂直バーにあるアイコン。 これにより、ChatGPT に似たチャット インターフェイスが開きます。
6. クリック ロードするモデルを選択してください ページの上部にあります。 ダウンロードした Llama 3 LLM を選択します。 LM Studio がモデルをロードします。これには数秒かかる場合があります。
7. これで、デバイス上で Llama 3 とチャットできるようになりました。

特に、Windows マシンを使用していない場合、新しい M プロセッサ (M1、M2、および M3) を実行している Mac 所有者も LM Studio を使用できます。 Linux 用のベータ版も利用できます。

Ollama を使用して Llama 3 を実行する方法

あるいは、Ollama プロジェクトを使用して Llama 3 をローカルで実行することもできます。 この方法は、Raspberry Pi で LLM を実行したい人にとって魅力的です。

Mac および Windows の場合は、次のサイトにアクセスしてください。 ウーラマ.com オペレーティング システムと互換性のあるバージョンをダウンロードします。 Linux を実行している場合 (または、Raspberry Pi に Llama 3 をインストールしたい場合)、提供された行をコピーして貼り付けて、インストール スクリプトをダウンロードして実行します。 インストールすると、選択したターミナル アプリから直接 Llama 3 を実行できます。