OPPOが「OPPO INNO DAY 2021」で行った一連の発表は、かつてファーウェイが目指したSoC設計レベルからの端末機能、性能向上というアプローチに挑戦していく意識表示とも言えるものだった。
もちろん、イベントの主役はフリップ型端末と同等の価格ながら、フォルダブルの形式を採用した「Find N」にほかならない。初日に発表された独自設計のチップMariSilicon Xによるカメラ機能、画質の向上も話題だが、その先に見えているのは独自SoCによって、Android勢の中から頭一つ抜け出すことだろう。
OPPOはここ数ヶ月、独自のSoCを開発していると噂されてきた。SoC、すなわちシステムをひとつにまとめた半導体となるが、実際に登場したのはカメラ画質の向上に特化したチップである。
このチップに内包されている処理回路は、ニューラルネットワーク処理を効率よくこなすためのNPU（Neural Processing Unit）、画像処理に特化したISP（Image Signal Prosessor）だ。ニーズの高い特定用途に限定することで、バッテリー消費を増やすことなく高度な画像処理を実現する。
ニューラルネットワーク処理はカメラ画質や機能を高めること以外にも応用できるはずだが、実際にAndroidのNPUを活用するAPIからも利用可能かどうかは現時点ではわからない。
ただ、MariSilicon搭載がAnnounceされている次期Find Xに関して言えば、内蔵するSoC側にもNPUが搭載されると思われ、OPPOのアナウンスを素直に解釈するならば、MariSilicon Xはカメラ専用に使われていると考えるのが妥当だろう。
用途を限定した専用プロセッサだけに、演算性能だけで評価できるものではなく端末内蔵のカメラで評価すべきだろう。ただ、OPPOが主張するような画質が静止画、動画共に得られるのであれば、MariSilicon Xは今後の同社製スマートフォンの魅力を底上げするチップになるだろう。
OPPOによるとMariSilicon Xが搭載するNPU（A15ではNeural Engineに相当する）とISPの電力あたりの性能、絶対的な処理能力のいずれも、アップルがiPhone 13シリーズに搭載するA15 Bionicより高いとしている。
A15 BionicがTSMCの5ナノメートルプロセスで作られる、モデム以外のほとんどの機能を内包するSoCなのに対し、MariSilicon XはTSMCの6ナノメートルプロセス製造されるNPU、ISPの専用チップだけに、回路規模から能力が高いことは十分に推察できるが、現時点ではSoCとは別チップであることの制約も考えておかねばならないだろう。
iPhone 13シリーズの例からも分かる通り、ニューラルネットワーク処理の強化はカメラ画質を向上させる上で極めて効果的で、”端末単体の魅力を高める”と言う視点から言えば、SoCとは別にチップを搭載すると言うOPPOの判断は現時点で正しいように感じられる。
公開されている情報によると、イメージセンサーからの情報を全て20ビットで、なおかつベイヤー配列のセンサーRAWデータをダイレクトに処理するための信号処理パイプラインを実現しているようだ。
通常、センサーからのRAWデータはRGBやYUVなどの画素フォーマットに変換して映像処理が行われる。画素データの深度も10から12ビットが主流だろう。
映像処理の大元のデータであるイメージセンサーのRAW（生）データを、過剰とも言える20ビットで処理することで、画像処理を繰り返すことによる情報喪失を排除するのが目的だと考えられる。
暗所での動画画質や、逆光でも背景と被写体のバランスを自動的に取ったサンプルが公開されているが、これらの処理には処理誤差が出やすい暗所のデータ精度が不可欠。それを活かしたカメラ機能が実現されると思われる。
狙うはその先、独自SoCの開発か
同時に発表されたハイエンド端末のFind Nは、魅力的でユニークなフォームファクタを採用している。MariSilicon Xはこのハイエンド端末だからこそ、メインSoCとは別に搭載することができたが、OPPOが狙うのはその先。カスタムオーダーのSoCにMariSilicon Xを盛り込むことだ。
デジタル一眼などでRAW現像処理をマニュアルで行なっている方ならば分かるだろうが、広いダイナミックレンジを静止画にバランス良く収めには、ある程度のノウハウと判断力が必要だ。
ファーウェイがかつてAI処理でRAW現像を最適化することに挑戦して、当時としては驚くような高画質を実現した。それはあるがままを捉える写真機の本質からは外れたものだったが、多くの消費者は良いカメラと捉えた。
アップルがここ数年、優れた画質を実現しているのも（絵作りの方向は別だが）、ファーウェイが先鞭をつけた流れと同じ手法をもっとリアルな写真画質を実現することに応用している。
MariSilicon Xは、極めて先進的な信号処理のアプローチを採用しているものの、SoCとは別チップとなっているため、追加コスト、SoCとのデータ共有、汎用的なNPUを用いるソフトでの活用などに問題を抱えていると推察される。だからこそ、OPPOはMariSilicon Xをカメラ向けの追加チップだと言っているのだ。
しかし、6ナノメートルプロセスで製造されるMariSilicon Xだが、製造委託先のTSMCは3ナノメートルプロセスの立ち上げを計画している。
完全に推測でしかないが、そのタイミングでSoCに必要となる想定の回路を配置した上で、MariSilicon X相当のNPUとISPを内蔵させるのではないだろうか。MariSilicon Xの信号処理精度やRAWをそのままの状態で扱うアプローチの仕方などを見る限り、今後数年の同社製内蔵カメラで実現したい将来の画像処理、機能実装を見据えたものとしているように思う。
おそらく、遠くない将来に（TSMCのより微細な生産ラインが利用可能となる時点で）MariSilicon Xと同等、あるいは基本構成は同じながらより進化したものとして、同社製端末内蔵カメラの品質を底上げするキーテクノロジになるだろう。
さらに言えば、もともと価格に対する性能が高い同社製端末のコストパフォーマンスをさらに引き上げるものになるはずだ。
なぜなら、独自SoCとすることで端末コストの中でも最もコストがかかるSoCを自社生産できるからだ。当然、製造そのものはTSMCとなるが、米クアルコムいから購入したSoCに独自チップを組み合わせてミドルクラスの端末を作ることは難しいだろう。
おそらくCPU、GPUはArmなどから購入した回路を使うことになるだろうが、そこに共有メモリのための広帯域メモリコントローラを配置。MariSilicon Xの将来版を搭載すれば、ひとつのSoCでMariSilicon X内蔵端末と同等以上の画質、機能をカメラにもたらすことが可能だ。
これらのアプローチはファーウェイ、アップルが得意とてきたことだが、ファーウェイが米政府による制裁を受けている現状、アップルのライバルとしてOPPOが急上昇していくと見ている。
カメラ画質のアプローチも、ややあざとい印象が強かったファーウェイに対し、被写体認識の精度向上などもあるのか、より自然な現像結果と見受けられる。同社端末が搭載するColorOSはiPhoneとよく似た使い勝手や機能も搭載しており、完成度の向上とともにiPhoneシリーズの強力なライバルとなっていくだろう。
