ゲームの阻止燃化技術」Reflex」や実況配信用ソフト「Broadcast」など、NVIDIAイベントで新型GPU以外の話題をピックアップ

2020年6月の講演に続いて今回も家の台所で、新しい製品や技術を紹介したJensen Huang氏

　既報と2020年9月2日、NVIDIAは、自分開催のオンラインイベント “Ampere」アーキテクチャを採用するGPU「GeForce RTX 30」シリーズを発表した。
イベントのハイライトはもちろん、新型GPUが、NVIDIAのCEOであるジェンスン・フアン（ジェンスン・フアン）氏は、GPU以外にも様々な技術や今後登場する製品を紹介している。本稿では、新型GPU以外の様々な発表を簡単に紹介する。

おなじみのバトルロイヤルFPS「Fortnite」のPC版がGeForce RTXシリーズのリアルタイムレイトレーシングとAIベースのアンチエイリアシング技術」DLSS」に対応することも発表された（関連記事）

2020年9月2日、NVIDIAは独自のオンラインイベントで “Ampere」アーキテクチャを採用する新型GPU「GeForce RTX 30」シリーズの製品で、「GeForce RTX 3080」と「GeForce RTX 3070」、「GeForce RTX 3090」を発表した。

[2020/09/0201:40]

低遅延化技術「NVIDIA Reflex」と360Hz表示対応の「G-SYNC Esports Display “

最初のテーマは、特にeスポーツを考慮した遅延の短縮に関する技術である。
コンピュータゲームに付着の遅延は、キーボードとマウスの入力でPC内部のハードウェアおよびソフトウェアの処理、そしてディスプレイやTVなどの表示装置側での処理など、さまざまな段階で発生している。この遅延をすべてゼロにすることは不可能ですが、少しでも減らすことができれば、特に瞬間の操作が勝敗を左右することもある対戦型ゲームで有利に立てる可能性が出てくるわけだ。

「VALORANT」を例に、遅延の重要性を説明したスライドイメージの隙間に見える敵を攻撃することができる時間は180msしかない。しかし、一般的なゲーマーは150ms程度の反応時間が必要なため、システム側の遅延が30msを超えると、このシーンで敵をキャッチすることができなくなる。システム側の遅延を短縮することができていれば、勝利の可能性が高くなる理屈だ

そのためには、ユーザーの操作（入力）で、その結果が画面に反映される（出力）までの時間を測定した後、ボトルネックを見つけて対策することが必要である。今回の発表となった「NVIDIA Reflex「（NVIDIAのレフ次Reflex）は、NVIDIA製のドライバソフトウェア、ゲーム側で遅延縮小に関する技術と遅延の測定に関する技術をまとめた総称理解してよい。これは、GeForce RTXシリーズだけでなく、GeForce GTX 10シリーズなどでも利用ことができる。

ソフトウェア面での技術は、CPUとGPUのレンダリングパイプラインを最適化して、最大50％の遅延短縮を実現するという。このゲームは、Fortniteと “VALORANT」、「Destiny 2″の名前が挙げられており、例えば、GeForce GTX 1050 Fortniteをプレイする場合120ms近くいた遅延が50ms台まで減らすことができたという。 Reflex技術は2020年9月に発売予定のGeForce Driverに導入するという。

Reflexは、ソフトウェア面での向上は、ゲームの遅延を最大50％短縮することができる

一方、遅延の測定技術は、マウスの入力を感知して作動を反映した映像出力 – 例えばFPSの発泡光 – が発生するまでの時間を測定する「NVIDIA Reflex Latency Analyzer」（以下Reflex Latency Analyzer）を開発し、それをゲーマーのための液晶ディスプレイに統合する努力をするようだ。
Reflex Latency Analyzerを内蔵垂直最大リフレッシュレート360Hzに対応するゲーミングディスプレイ、NVIDIAは “NVIDIA G-SYNCスポーツディスプレイ「（以下G-SYNC Esportsディスプレイ）で認められてeスポーツゲーマー用にアピールしていく。

G-SYNC Esports Displayは360Hzの高リフレッシュレートの表示に対応するほか、マウスを接続して、入力を検出し、ディスプレイ側で出力遅延時間を算出する機能がある

G-SYNC EsportsディスプレイはAcerとASUSTeK Computer（以下ASUS）、MSIは、DellのALIENWAREブランドで、2020年秋以降に登場する予定だ。また、ASUSとLogitech International、Razer、SteelSeriesの入力デバイスがReflex Latency Analyzerに該当するもの。ただし、対応する入力デバイスの新製品が登場するのか、従来の製品は、この機能をサポートしているが言及されていない。

NVIDIA Broadcast：GPUとAI処理による実況配信用のプラグイン

次なる話題は、GPUとAI処理を使用した実況伝達とビデオ会議のためのソフトウェアのプラグイン “NVIDIA放送「（以下Broadcast）である。発売時期は9月予定である。

Broadcastは実況配信者とビデオ会議ソフトウェアのユーザーのための機能である

ノイズ除去デモ。配給者の背後にヘアドライヤーを使用してもノイズだけなくすことは

カメラから取得した人物の映像から背景を消去したり、任意の画像や映像を背景の代わりに合成することができる機能を持ったソフトウェアは、珍しくない。 BroadcastはGeForce RTXシリーズで動作するエッジAI処理して、マイクを通した音声に入るノイズを除去したり、背景を消去やボカ播くか、どのようなイメージと合成などを実施する。
人気実況配信によるゲーム実況では、配信の背景を削除して、ゲームの映像に合成する映像がよく見ることができますが、このようなことをGeForce RTXシリーズとWebカメラとソフトウェアで実現することができるようにあれば、自分の解説もしてみたいという人は多いだろうか。

Broadcastを使用すると、Webカメラから取得した配信の映像から背景をきれいに除去して、すべての映像と合成したり、（左）、配達の様子をゲーム映像に重ねるなどの作業を容易にする（右）

Omniverse Machinima

第三のテーマである「NVIDIA Omniverse Machinima「（以下Omniverse Machinima）は、ゲームで使用されている資産を利用した映像作品、例えばゲーム中に表示される「映画場面」や予告編動画などを作成するために使用することができるGeForce RTXシリーズのためのツールとエンジンである。基本的にはは専門家のためのソフトウェアであり、ゲーマーが直接使うものではない。

Omniverse Machinimaは、ゲームアセットを持ってきて映像を作成するだけでなく、レイトレーシングによって素材と照明を変えたり、音声に合わせて人物の口の動きと顔のアニメーションを付けたり、同じ処理をGeForce RTXシリーズを使用して行うことができる。

Omniverse Machinimaの概念を示したスライド。ゲームアセットを持って質感を向上させる処理や音声に合わせて口パク追加効果の追加などを実施して映像を制作する

カメラから取得した人物の動きをAI処理で抽出して、キャラクターの動きに反映させることも可能である

Omniverse MachinimaはUnreal Engineと3ds Max、Maya、Photoshop、などのゲームエンジンと映像制作、写真編集ソフトウェアで利用可能なこと。NVIDIA公式Webサイトは、初期アクセスに登録をすることができますので、興味のある人は、申請してみてはどうだろう。