ベンチマークを巡るクアルコムの論争を解説

TL;DR

• クアルコムは、新しいプロセッサ「Snapdragon X」シリーズのベンチマークに関する主張について論争に直面している。
• ある記事では、クアルコムはチップが実際の消費者向けよりも強力であるかのように結果を事実上ごまかし、「不正行為」をしていると主張している。
• クアルコムはテスト方法を完全に透明化しているわけではなく、何が正確で何が間違っているかについて明確な答えをほとんど残していない。

昨日、クアルコムは新しいSnapdragon X Plusチップセットを正式に発表しました。 Arm ラップトップの Windows 向けに設計された Snapdragon X Plus (およびそのより強力な兄弟である Snapdragon X Elite) は、Apple の M シリーズ チップの最初の発売以来 macOS ユーザーが享受してきたものを Windows ユーザーに提供するように設計されています。バッテリー寿命が非常に長いラップトップが減ります。

これについて理解したい場合は、上に埋め込まれたビデオを見ることを強くお勧めします。 Snapdragon X シリーズと、それが Windows ラップトップの状況をどのように変える可能性があるかについて、多くのコンテキストを説明します。

残念ながら、誰もがクアルコムほどこれらの新しい Snapdragon X チップに興奮しているわけではありません。 チャーリー・デマージャン 半正確 最近書いた 長い意見記事 この記事は、X Elite と X Plus の推奨ベンチマークに関してクアルコムが「不正行為」をしていると主張しています。 これはソーシャル メディアで広がり始め、クアルコム、Arm 上の Windows、およびこれらのチップの完全性に関する幅広い会話を引き起こしました。

Android 権限 さんは、Snapdragon X マシンへの実際のアクセスを特徴とする複数の Qualcomm イベントに参加してきたので、会話に参加してみようと思いました。 ここでは、何が起こっているのか、そして Snapdragon X チップを搭載した小売マシンが入手可能になったときに何が期待できるのかについて説明したいと思います。

これを読んでいるほとんどの人は、ベンチマークに精通しています。これには、ハードウェアに一連の客観的なテストを実施して、さまざまな指標で他のハードウェアと比較する方法を判断することが含まれます。 ベンチマークについて知っている場合は、ベンチマークを操作してスコアを増減させることもできることをご存知でしょう。 たとえば、スマートフォンを直射日光の当たる熱いテーブルの上に置いた状態でスマートフォンのベンチマークを実行すると、同じベンチマークをウォークイン冷蔵庫内で実行した場合と比較して悪い結果が得られる可能性があります。

言い換えれば、特にベンチマークを実施する人がその数値を取得した方法に関する重要な詳細を省略した場合、ベンチマークの数値があるだけではすべてではありません。

Snapdragon X のすべてのイベント中 Android 権限 クアルコムは 2023 年 10 月から参加しており、多くのベンチマークを示してきました。 ご想像のとおり、それらはすべて、Snapdragon X Elite と X Plus が、Apple の M3 や Intel の最新の Core Ultra チップなど、競合他社のチップセットの周りを周回していることを示しています。 いずれの場合も、クアルコムは、X シリーズプロセッサーはより強力で、バッテリー効率が高く、AI ベースのタスクの実行に優れていると主張しています。 特に Apple の場合、Apple がすでに小売向けに 3 世代の Arm チップを発売しており、クアルコムが X シリーズをまだ小売向けに発売していないことを考えると、これはかなり信じられないことです。

しかし、問題は、クアルコムがこれらのベンチマークをどのように取得したかについての質問を何度もはぐらかしていることだ。 Snapdragon X Plusの発売前に私が参加したイベントで、クアルコムはこのチップがApple M3シリコンよりもどれほど強力であるかを示しました。 スライドに情報がなかったので、私は手を挙げて、このベンチマークに使用された両方のマシンのチップ熱設計電力 (TDP) がいくらであるかをプレゼンターに尋ねました。 プレゼンターは答えることができず、折り返し連絡すると言いました（返事はありませんでした）。

私の知る限り、Snapdragon X Elite/Plus ベンチマークのチップ TDP は誰にも公開されていません (デバイスの TDP とチップの TDP は別のものであることを思い出してください)。 TDP に大きな差があるとベンチマークの系譜が劇的に変わるため、これは大きな問題です。 言い換えれば、Apple M3 ラップトップが標準の 20W TDP で動作しているのに、Snapdragon X プロセッサが 80W で動作している場合、ベンチマークは比較できなくなります。

これを、クアルコムが X シリーズの完全に独立したテストを許可していないという事実と組み合わせると、その主張にはかなりの懐疑的になります。 Snapdragon X Elite のベンチマークを行ったときでさえ、それは非常に手間のかからない作業でした。 クアルコムが選択したベンチマークが行われるのをただ見守ることしかできず、他のアプリをインストールしたり、ベンチマークデバイスの詳細を確認したりすることはできませんでした。

簡単に言えば、クアルコムは、Snapdragon X シリーズに対する自社の主張に関して、非常に「信頼してください」という態度をとっています。

「不正行為」の新たな主張

前述の中で 半正確 この記事では、チャーリー・デマージャン氏は、クアルコムの社内およびパートナーの OEM ビジネスに関する直接の情報を持つ匿名の情報源と話をしたと主張しています。 この記事で主張されている多くのことの中で、注目に値する引用をいくつか紹介します。

• 「半正確 クアルコムが誇示していた数値の一部については 100% 自信を持って言えます [to press] 彼らが主張する設定で再現することはできません。」
• 「OEM が最初のサンプルを入手し、最終設計に近いものを作成した後、 半正確 パフォーマンスが悪いという報告を受けました。 「悪い」とは、クアルコムが技術文書やプレゼンテーションで伝えていた数字の 50% に満たないことを意味します。」
• 「その後、より多くの Snapdragon X Elite サンプルが公開され、さらに多くのリビジョンが追加されました。 [Windows on Arm]OEM と別の Tier 1 からも同様の報告を受けました。どちらも、クアルコムが約束した数字には程遠い数字を報告しました。 どうして近くないのですか？ 今回は 50% を超えていましたが、パフォーマンスを説明するために「Celeron」という用語が使用されました。」

基本的に、デマージャン氏は、クアルコムがSnapdragon Xシリーズをジャーナリストだけでなく、これらのチップが実際に搭載されるラップトップを製造する企業にも販売するために、強化されたベンチマークを使用していると主張している。

残念ながら、デマージャン氏はこれらの主張について示す確かな証拠を持っていません。 その理由は、 半正確 「OEMとクアルコムのエンジニアの間でいくつかの質問が促進されました。注意しないと情報源が判明する可能性があります。」 デマージャン氏は、「情報源の匿名性は常に最優先されます」と付け加えた。 それはそれでいいのですが、 半正確 同社は基本的に、クアルコムに対して「信じてください」と呼びかけていることとまったく同じことをやっている。

私たちの見解とクアルコムの声明

この記事について、私たちはクアルコムに問い合わせました。 について尋ねると、 半正確 記事では、クアルコムは次のように述べています。

私たちはパフォーマンスに関する主張を支持しており、消費者がすぐに Snapdragon X Elite および X Plus デバイスを手に入れることを楽しみにしています。

テスト方法について尋ねられたところ、同社は次のように答えた。

当社のベンチマークは、AC モード (壁面充電器に接続) およびバランス モード (小売デバイスのデフォルト) で測定されています。

特に、チップの TDP について尋ねたところ、この情報が含まれていない報道資料のコレクションを指摘されました。 これは、理由が何であれ、同社が誰にも明かさない唯一のことのようだ。 公式情報が不足しているため、チップの TDP は高く、少なくとも Apple の 20W よりも高いに違いないと推測することしかできません。 結局のところ、それが 20W 以下であれば、クアルコムはその情報が欲しい人には誰にでもオープンに教えるでしょう。

現時点では TDP の質問に明確に答えることはできませんが、この分野でクアルコムのチップに何が期待できるかを少しだけ紹介することはできます。 頻繁にあるおかげで Android 権限 協力者の Kamila Wojciechowska 氏によると、さまざまな Snapdragon X マシンのリークされたベンチマークがいくつかあります。リンク先で読むことができます。 全体としては非常に興味深いものですが、要点は、最上位の Snapdragon X Elite マシンはクロックが向上するため、かなり高い TDP を備えているということです。 他の Elite および Plus モデルは、Apple の M3 Pro および M2 に近いと報告されていますが、消費電力はまだ若干高いかもしれません。

クアルコムへの質問に戻ると、私たちは同社に、Snapdragon X プロセッサを搭載した小売店向けラップトップをいつテストできるか尋ねましたが、OEM パートナーの計画に関する情報は共有できないと答えました。 次に、「Snapdragon X Eliteと当社の新しいSnapdragon X Plusを搭載した製品は2024年半ばに発表される予定です」と述べており、これはすでに得ている情報です。

個人的にはSnapdragon Xシリーズにとても興奮しています。 クアルコムのベンチマークの主張が捏造されていることが判明したとしても、あるいは完全な嘘だったとしても、バッテリーを消耗する強力な Windows ラップトップを使用する可能性は、私には完全に拒否するにはあまりにも魅力的です。 たとえすべての指標で MacBook がそれを上回っていたとしても、Snapdragon X ラップトップを使って記事を書いたり、ビデオを編集したり、飛行機の中でずっとバッテリー駆動状態で Baldur's Gate 3 をプレイしたりできるのであれば、私はすぐに MacBook を買うでしょう。 私にとって、ページ上の数字は実際の経験ほど重要ではありません。

Microsoft は 5 月に Snapdragon X チップを搭載した Surface ラップトップを発表し、6 月に発売すると予想されているため、わずか数週間以内に全真実が判明するでしょう。 このラップトップが世に出ると、クアルコムが推し進めた初期のベンチマークは最も厳しい監視にさらされることになる。 もしベンチマークが一致すれば、チャーリー・デマージャンや他の人たちは、帽子をかぶる必要があるだろう。 ベンチマークが不足している場合、そうですね…クアルコムは対処しなければならない否定的な報道を山ほど抱え、Snapdragon X シリーズ (そしてその結果、Windows on Arm) の将来の成功を深刻な危険にさらすことになります。