コンピュータ科学者たちは、ニューラルネットワークによって偽造された偽の画像を検出するだけでなく、これらのいわゆるディープフェイクを生成するために使用されるモデルの属性を推定することができるプロトタイプソフトウェアを構築しました。
このプロジェクトは、ミシガン州立大学（MSU）の学者とFacebook AI Research（FAIR）との間の協力で、調整された誤った情報などのキャンペーンを処理することができるツールを作成することを目的とします。
指定されたイメージが電子的に操作されたかどうかを予測してディープフェイク作業を盗聴するように訓練された一般的な機械学習モデルです。 しかし、MSU-FAIRシステムは、より深化され、イメージを作成するために使用されるニューラルネットワークのアーキテクチャを提案することができ、これは画像を一緒にグループ化し、特定の虚偽の情報のキャンペーンに貢献するために役立つことができます。 つまり、100,000個のイメージを撮影してMSU-FAIRコードを使用してAタイプのモデルを持っている人が2,000個を作り、モデルタイプBなどを使用して、他のグループから3000個を作成したことを確認することができます。
「私たちのリバースエンジニアリングの方法は、単一のディップフェイク画像を生成するために使用されているAIモデルであれば固有のパターンを発見するために依存します。 ” と述べた Tal Hassner、FAIR研究員で、 研究論文 システムを説明します。
「私たちは、それぞれのディップフェイクを生成するために使用される生成モデルの属性を推定することができ、複数のディープフェイクを生成することができるモデルに接続することもできます。 これは、各ディップフェイクの情報を提供しています。 さらに、事前情報が存在しない場合でも同様です。 “
このソフトウェアは、ディープフェイクアバター画像と一緒に自動的に生成されたオンラインアカウントを根絶し、製品の正または負のレビューを投稿するために使用することができます。 例えば。
理論的には、システムは、偽の画像か、同じGAN（Generative Adversarial Network）を使用して作成されたかどうかを検出することができる必要があります。 このモデルは、開発者にディープフェイクを作成するために使用された正確なGANタイプまたはGANが知られていないシステムであるかの良いアイデアを提供することができます。
リバースエンジニアリング手法は、指紋推定ネットワーク（FEN）と解析ネットワーク（PN）の2種類のシステムに依存します。 まず、FENは、画像を処理し、画像がコンピュータで生成された偽のあることを示す隠されたパターンを検索します。 たとえば、スナップの原点を提供する複数の画像に表示される奇妙なピクセルグループがある場合があります。
次に、PNは、これらの隠された透かしと同様の信号を分析して、ディープフェイクニューラルネットワークの階層数との接続方法を予測します。 最後に、FENの出力は、写真がコンピュータで生成されたかどうかを決定するために、バイナリ分類器に供給されます。
プロトタイプモデルは、100個のGANモデルで生成された100,000個のディップフェイクのデータセットで学習しました。
デジタル指紋に合成画像を識別することができるシステムは、教育を受けていない新しいタイプの虚偽イメージをよりよく検出します。 研究の共著者であり、MSUのコンピューター工学科の教授であるXioming Liuは「過剰フィッティングは、すべての深さのモデルの教育の大きな問題です。 登録。
例えば、伝統的なバイナリディープフェイクセンサーは学習セットで100％の分類を達成するためにディープフェイクとほぼ無関係の全体照明のような他の情報を潜在的に使用することができ、このモデルは、テストセットでテストしたときに適切に一般ません。
「過剰適合を解決する1つの方法は、より多くの監督の信号を提供して訓練がディープフェイクに重要な一般化が可能な、本当の信号を捕捉する可能性を高めることです。 私たちの場合、GAN生成画像の他の指紋や高周波ノイズは、他のネットワークアーキテクチャおよび損失関数の結果であるため、このような追加の基準情報を提供しています。 [details] 訓練中の特定の項目に忠実な指紋を学習するようにネットワークを [generative model]。 したがって、我々はまた、様々なGMの間でそして実際と偽の間の本当の境界を学ぶことができるでしょう。」
新しいシステムが二つの学術データセットでテストされたとき、99％以上の精度でディープフェイクを正確に検出することができました。 しかし、モデルの機能をよりよく調べること実際の画像の中から偽造画像を識別することができるだけでなく、これを生成するために使用されたGANを予測して、偽の画像を安定的にクラスタ化することができるかどうかを確認することです。
Liuは「これは新しい研究の方向の始まりに過ぎない。 「私たちは、モデルの予測精度とモデルがサポートしているアプリケーションの観点からモデルを改善するために絶えず様々なパスをブレーンストーミングしています。 また、実際のアプリケーションに適用することができるようにモデルを改善する方法について、Facebookの議論中です。 “
それほど パスワード このモデルは、GitHubでリリースされました。 ®
+ There are no comments
Add yours