DxO Markの点数を信用してはいけない3つの理由【怪しい】

DxOmarkとは？

DxOmarkとは、スマホのカメラをはじめ、オーディオから一眼レフカメラなど、さまざまなガジェットについて、レビューをするだけでなくそれを点数化して発表しているサイトです。やはり特徴としては点数を出しているという点。海外・国内を含め、レビューサイトは多々ありますが、これに点数を付けているのはここくらいのものです。そして、特にスマホカメラについてはこの点数がかなりの影響を持っています。中には新機種発表会でDxOmarkランキング1位を謳って宣伝をするというスマホもありました（Mi11 Ultraとか)。この点数を見て、買うか買わないかを決めている人もいることでしょう。

私はこのDxOmarkの点数は全く、0.1%も信用していません。それには様々な理由があるのですが、今回はそれについて書いていきます。主に3つの理由があります。そして、つい最近浮上したある「疑惑」についても、書いていきたいと思います。

【理由1】P50 Proに関する疑惑

早速ですがその疑惑について書いていきます。7月29日、ファーウェイは最新鋭のハイエンドモデルであるP50 Proを発表しました。そして、その発表会と同じ日にP50 ProのDxOmarkレビュー記事が投稿されました。その点数は、それ以前トップだったMi11 Ultraを1点上回る144点。ファーウェイがDxOmarkランキング1位の座を取り戻しました。

しかし。ここである疑惑が持ち上がりました。スマホでも一眼レフでも、デジタルカメラで写真を撮影すると「EXIF」というものが残ります。EXIFとは撮影日時や焦点距離、シャッタースピードなどを記録したデータです。このEXIFのデータを計算すればイメージセンサーのセンサーサイズが分かります。これがDxOmarkの作例として掲載された写真と、中国のファーウェイ店舗に置いてあった実機の写真では違う値が出たと、中国のSNS、Weibo上で話題になりました。

まず、ファーウェイの発表会では、カメラのイメージセンサーについては何の発表もありませんでした。現在、カメラ特化型のハイエンドモデルについては大半のメーカーがセンサーサイズやf値などを載せているんですが、今回のP50については、イメージセンサーの形式はおろかセンサーサイズやf値も明らかにされませんでした。で、DxOmarkのEXIFを解析したところ、P40シリーズやMate40シリーズにも採用されたソニーのIMX700というセンサーではないかと思われました。このことから、イメージセンサーの供給が不透明な中、P50においてもソニーのセンサーが確保できたのか？と話題になりました。しかし、その後weiboに投稿された店頭にあった実機のEXIFを解析すると、IMX700より小型のセンサー、IMX766(OV50A?)ではないかという結果になりました。IMX700はソニーとファーウェイが共同開発したセンサーで、ファーウェイ以外のスマホには載っていません。一方、IMX766はソニーの汎用センサーで、OV50Aはオムニビジョンの汎用センサーです。また、DxOmarkの作例では、メインカメラ以外で撮影された写真についてはEXIFが消されていました。

こうなった原因については2つ考えられます。まず1つは実機を使って撮影したものの、撮影後にEXIFが改ざんされた可能性です。そしてもう1つは、DxOmarkに提供された端末がP50 Proの実機とは異なるという可能性です。まずEXIFが改ざんされた可能性ですが、私個人としてはこっちの可能性の方が高いと思います。というのも広角メインカメラ以外の写真は、EXIFが消されていたため、撮影後にEXIFに何らかの手が加えられた可能性が高いです。完全に消すならまだしも、実機とは異なる数値が書き込まれているのは、ファーウェイの指示なのかは不明ですが、なぜ真実を隠すのか？そこが気になって仕方ありません。それから実機とは異なる端末が提供された可能性もあります。もしそうだった場合、レビューおよび点数は実機のものではないため、完全にレビューの意味がありません。いずれの場合でも、レビューサイトとしてはあるまじき行為で、ほかの機種のレビューも含め、ますます点数の信憑性を疑う必要があると思います。

【理由2】本当に公平・公正か？

レビューするだけならまだしも、点数を付けてランキングにするのであれば、採点の公平・公正性は絶対です。特に大きな影響力を持つDxOmarkならなおさらです。現在のDxOmarkにおけるスマホカメラのランキングは、1位がHuawei P50 Pro、2位がMi11 Ultra、3位がHuawei Mate40 Pro+、4位がHuawei Mate40 Pro、5位がMi10 Ultraとなっています。このうち、Mate40 Pro+を除く4機種は、スマホの発売日以前にDxOmarkのレビューが投稿されています。すなわち、メーカーがDxOmarkに対し、特別に発売日前に端末を提供したということになります。こうした、メーカーがDxOに対し特別に端末を提供したと思われる端末は、DxOmarkにおいてなぜか、なぜか上位に来ています。不思議ですね～～～～～。それでは、発売日より後にDxOmarkのレビュー記事が更新されたスマホはどうでしょうか。今年だとGalaxy S21 Ultra、vivo X60 Pro Plus、OPPO Find X3 Proが挙げられますが、S21Ultraは123点、X60PPは128点、Find X3 Proは131点と、HuaweiやXiaomi端末に比べていずれも点数は伸び悩んでいます。ちなみに2021年8月4日時点において、1位から6位までがXiaomiまたはHuaweiです。

確証が一切なく、状況証拠のみではありますが、このランキングはあまりにも不自然です。発売日よりも前に特別に提供された端末、もうちょっと具体的に言えばHuaweiとXiaomiのスマホはなぜか良い点数が出ています。こうなったのは2つの可能性があります。1つはやはり公平・公正な採点が行われていない可能性、もう1つはメーカーの思惑としてDxOmarkの点数を伸ばすために、DxOmarkの採点基準に合わせたチューニング・セッティングが行われているか。まず後者ですが、これはXiaomiが露骨にやっています。Mi11 Ultraにおいては、DxOmarkと協力してカメラを強化したよ！というアップデートが行われたりしています。前者についてはやはり状況証拠のみなので確証はありませんが、自分で買ったスマホと、メーカーから発売日前に特別にくれたスマホ、どっちに良い点数付けますか？という話です。私はこうなったら公平・公正な採点はとてもできません。状況証拠しかないので断言はしませんが、私は公平・公正な採点にはなっていないと、そう感じています。

【理由3】採点項目は実感に合っているか？

ここまでは不正などについて書いてきましたので、読者の皆様においては「公正な採点しとらんじゃないかい！」とお思いの方もいらっしゃるでしょうが、あえて、あえてここではDxOは公正な採点をしているとして、話を進めていきたいと思います。

私は今年、このDxOmarkにランキングされた端末を2機種買いました。1つはMi11 Ultra、もう1つはvivo X60 Pro Plusです。Mi11Ultraは143点という高得点ですが、X60PPは128点と、あまり良い点数ではありませんでした。この2機種のカメラを両方使ってみて、間違いなく、100%、X60PPの方のカメラが良いと感じました。望遠こそMi11 Ultraに負けるものの、それ以外においてはすべてにおいてX60PPの方が勝っていると思いました。100人いれば90人がX60PPの方が良いと言う自信があります。それでは、Mi11 UltraとX60 ProPlusで実際に撮影した写真を比較してみましょう。

まずは望遠を比較してみましょう。いずれも50倍で撮影。色の再現性はX60PPの方が高いものの、全体的にMi11Uの方が細かい部分のディティールがはっきりしています。この望遠に関してはDxOmarkの採点は妥当だと思います。

続いて、色の再現度を見ていきましょう。DxOmarkでは、色の項目はMi11Uが103点、X60ProPlusが101点と、それほど大きな差はありませんが、検証の結果、大きな差がないことからこれも妥当な点数です。

写真の中でも特に難易度が高い飛行機。望遠性能とオートフォーカス性能が求められますが、このどちらともMi11Ultraが上回っていますね。DxOmarkにおいてもその通りなので、ここも妥当です。それではここから、点数の付け方がおかしいと感じる写真を載せていきます。

望遠においてはMi11 Ultraが勝っていると申し上げましたが、低照度（暗い場所）においては、X60ProPlusが圧倒的に勝っています。まず、Mi11 Ultraでは、暗い場所だとポートレートとマクロは実質的に使えないようなもんでした。しかしX60ProPlusでは、かなり暗い場所でもポートレート、マクロがしっかりと撮影できます。また、特に一番下の写真を見るとよくわかりますが、Mi11 Ultraにおいては被写体の一部が黒く潰れてしまっていますが、X60 ProPlusでは被写体に黒く潰れている場所はありません。DxOmarkの採点ですが、Nightの項目がMi11 Ultraは77、X60ProPlusでは67となっていますが、なぜこんな点数になったのか疑問です。都市夜景くらいの明るさでしか検証してないのでしょうか。この時代、都市夜景程度であればミドル帯のスマホでも十分撮影できます。

それともう一つ。この2機種における決定的な違いはマクロです。まずは撮影できる最短焦点距離が異なります。Mi11 UltraよりX60Pro Plusの方が圧倒的に近くで撮影できます。上の写真ではそれほど変わらないように感じますが、Mi11 Ultraは2倍デジタルズームで撮影、X60Pro Plusは拡大なしです。それから、X60 ProPlusにおいては、被写体との距離が近づくと自動的にマクロモードに変わりますが、Mi11 Ultraでは手動で切り替える必要があります。私が思っている以上にマクロモードを使う機会が多いのですが、DxOmarkにおいてはなぜか採点対象となっていません・・・。

それから広角のデジタルズームです。いずれもペリスコープ望遠に切り替わる直前、4.5倍ズームで撮影しています。木の部分や花の部分を拡大してみると一目瞭然ですが、Mi11 Ultraは細かいデティールが完全に潰れてしまっていますが、X60 ProPlusでは拡大しても全然気にならないレベルです。実はこれを撮影してからしばらくして、Mi11 Ultraにアップデートが入り、広角のデジタルズームが大幅に改善されたんですが、Mi11 UltraのDxOmarkは端末の発表会と同時に点数が出たので、あえてアップデート前の写真との比較です。DxOmarkの採点ですが、ズームはペリスコープを含めた点数となっています。いくら高倍率ズームが優秀でも、それより頻繁に使用する3倍・4倍程度のズームはしっかり評価されていないのではないでしょうか？

マクロが思っている以上によく使うのに採点対象になっていないのはどうなのか？という話を先ほどしましたが、食べ物。これもよく撮る人が多いのではないのでしょうか。特に日本人は。しかしこれもDxOでは採点対象ではありません。DxOで評価が高いファーウェイのスマホは、ご飯を撮ると非常にまずそうな色が出ることで有名ですが、X60Pro PlusとMi11 Ultraではどうでしょうか。個人の好みにもよると思いますが、私はX60 Pro Plusの方が美味しそうに見えます。ほんとにご飯はよく撮る人も多いと思うので、ぜひとも作例として欲しいところですね。

なんだかんだでこれが一番差を感じましたね。人工的ではありますが強い逆光環境を再現しました。逆光に強いのは圧倒的にX60PPですね。Mi11 Ultraではレンズフレアが発生していますが、X60PPでは発生していません。また、逆光補正という点においても、X60PPは非常に優秀です。つまり、HDRが優秀ってことです。DxOmarkの点数ですが、「露出とコントラスト」という項目においては双方105点と同点でしたが、X60ProPlusの方が圧勝だと私は思いました。また、「ノイズ」という項目においては、Mi11 Ultraが98点、X60PPが82点となっていますが、結構暗い写真ではありますが、上の拡大写真を見てもノイズに大きな差はないように思えます。レンズフレアをノイズと見做すならばX60PPが勝っていると言うことができるかと思います。

いろいろと見てきましたが、5x以上の望遠についてはMi11 Ultraの圧勝と言えるものの、それ以外はほぼ同点、あるいはX60 ProPlusが勝っているというのが私の見解です。特にマクロであったり、あとはカメラアプリの機能や使い勝手はカメラ機能においては非常に重要なことだと思うのですが、DxOmarkにおいてはそのあたりの評価があまりなされていないように感じます。このあたりがDxOmarkの点数を鵜呑みにしてはいけない一つの理由だと思います。例えば望遠をよく使う人、マクロをよく使う人、風景写真をよく撮る人、星空をよく撮る人、動くものをよく撮る人などなど、人によってカメラの価値観はさまざまです。DxOmarkの点数は(公正に採点していたとして)一つの指標ではありますが、その点数はあくまでもDxOmarkという一個人の感覚であり、あなたの感じる感覚とは恐らく異なる感覚だと思います。なのでカメラでスマホを選ぶときは、DxOmarkの点数より、そのスマホのカメラは何を撮影するのに向いているのか？自分は何を撮りたいのか？ということを考えて決めた方が幸せになれると思います。

DxOmarkでは、夜景モードや星空モード、スローシャッターモードなどについては全く検証していません。そういった機能の有無についても点数に加点されていません。現状はオートで撮影した写真のみを採点しています。

なお、このX60Pro PlusとMi11 Ultraの比較記事は、私の旧ブログの方に掲載していますので、ぜひそちらもご覧ください。

まとめ：点数は鵜呑みにしてはいけない

さてここまでいろいろと書いてきましたが、私は何が言いたいのかといいますと、DxOmarkの点数をスマホ選びの参考にするのは強くオススメしない、ということです。まず状況証拠だけではありますが、やはり公平公正な採点が行われているのかという疑問が残りますし、仮に公平公正な採点だったとしても、あくまでも一個人の考え方で採点されており、DxOmarkの感覚とほかの人が感じる感覚は違う、ということです。DxOmarkの点数というのは新製品発表会で堂々と発表されるなど、商業的に利用されているのは間違いなく、DxOmarkの点数を参考にして買う人も多く、この点数によりその端末の売り上げが変わるというのも間違いありません。しかし、そうだからこそ、この記事を読んでいただいた方は、ぜひDxOmarkの点数を参考にするのではなく、いろいろなサイトに載っている作例や、スペックなどを参考にし、そして最終的には自分で触ってそのスマホのカメラが良いのか悪いのかを判断していただきたいと思います。作例だけであればDxOmarkの作例はとても良いと思います。人間というものは数字に弱い生き物です。誰かが2つのものを比較して、100と90という点数を付けたら、みんな100の点数付けた方を買うでしょう。しかし、ぜひこの記事を読んでいただいた方は、DxOmarkの「点数」だけで判断せず、ご自身の感覚で、良いか悪いかをぜひ決めていただきたいと思います。