生成 AI と全体的な LLM パフォーマンスは、今後数年間で CPU と GPU のパフォーマンスを測定する際の重要な要素になる予定です。 Intel の Arc グラフィックスに関する最新の詳細では、現在の主力デスクトップ用 Intel Arc A770 16GB グラフィックス カードの LLM パフォーマンスに焦点を当てています。
3ギャラリーを見る – 3 枚の画像
Advertisement
この GPU は一般的に約 300 ドルで入手でき、Intel はその AI パフォーマンスを、Team Green の価格で最も近い競争相手である NVIDIA の主流の GeForce RTX 4060 8GB グラフィックス カードと比較しています。 「私たちは、同様の価格セグメントに位置する 2 つのディスクリート GPU を検討しました」と Intel はレポートに書いています。
Intel のテストには、PyTorch 用の LLM ライブラリである IPEX-LLM で実行されるさまざまなモデルが含まれています。 このライブラリには Intel ハードウェア向けの最適化が含まれており、Arc グラフィックス カードに搭載されている XMX AI アクセラレーションを使用してパフォーマンスを向上させます。 GeForce RTX 4060側ではCUDAトーチランプを使用します。
INT4 重み圧縮、FP16 実行、最大 1024 トークン出力を備えた Intel Arc A770 16GB は、1 秒あたりのトークン数のパフォーマンスに関して GeForce RTX 4060 8GB を上回っています。 全体として、Arc A770 では GeForce RTX 4060 よりもパフォーマンスが最大 70% 高速です。この結果には、Meta の最新の Llama3 モデルも含まれており、これは素晴らしいです。 実際には、 すべてのインテル AI ハードウェア Meta の次世代 Llama 3 LLM をサポートします。
3その理由の 1 つは、多くの AI モデルが GPU のメモリ容量と速度に依存しているためです。 したがって、Intel Arc A770 の高速な 16 GB の VRAM は、GeForce RTX 4060 の低速な 8 GB の VRAM よりも AI ワークロードに適しています。もちろん、最適化やその他の要因によってパフォーマンスの差異が生じますが、NVIDIA の CUDA は依然として広く考慮されています。ゴールドスタンダード。
Advertisement
それでも、これはインテルにとって素晴らしい成果であり、インテル Arc A770 16GB は市場で最も手頃な価格の 16GB GPU の 1 つであり、大差を付けており、インテルの AI の進歩により、強力で手頃な価格の AI を探しているユーザーにとって優れた選択肢となっています。解決。