富士通、幻覚と敵対的な攻撃から対話型AIを保護する新技術をリリース:富士通グローバル

AIの信頼性向上を目指す2つの新技術は、富士通のAIプラットフォームであるコズチ（コード名）を通じて提供される予定です。

富士通株式会社

東京、2023年9月26日

富士通は、今日、インタラクティブなAIモデルの応答信頼性を向上させるために、2つの新しいAI信頼技術のリリースを発表しました。 新たに開発された技術には、インタラクティブなAIモデルで生成AIが不正確または無関係な出力を生成する現象である幻覚を検出する技術と、小規模研究所で共同開発した技術が含まれます。 ^（1) ベン・グリオン大学は、偽の情報を注入する中毒攻撃を通じて、AIの応答に移植されたフィッシングサイトのURLを検出します。

富士通は、新しいテクノロジーを通じて企業や個人ユーザーに対話型AIの応答信頼性を評価するためのツールを提供し、最終的に技術を実装する企業を含むさまざまなユースケースでAIをより安全に使用することに貢献することを目指していますにします。 実際の操作。

ベン・グリオン大学のユバル・エロヴィッチ教授は次のように述べています。 「ジェネレーティブAIは重要な領域に位置しており、その中で富士通が開発したサイケデリックセンシング技術は、信頼できるインタラクティブなAIシステムを構築する上で重要な役割を果たしています。 BGU（Ben-Gurion University）と富士通の研究者たちは、敵対的な脅威に対抗してAIベースのURLフィルタリングのセキュリティを強化する革新的な技術を開拓しました。 私たちの革新は、テーブル形式のデータに焦点を当て、AIベースのURLフィルタリング領域で敵対的な攻撃に対するより弾力的な防御メカニズムを実装します。 今後、富士通とベン・ガリオン大学は、Generative AIエリア内で新たなセキュリティ中心の発展を構築するために協力する予定です。

富士通は、ユーザーに広範で強力なAIおよびML技術へのアクセスを提供する「富士通小津（コード名） – 富士通AIプラットフォーム」を通じて提供されるインタラクティブなAIコアエンジンにこれらの新技術を組み込む予定です。

インタラクティブなAIのサイケデリック検出技術は2023年9月28日から日本ユーザーに提供される予定であり、インタラクティブなAIの応答でフィッシングサイトURLを検出する技術は2023年10月から使用できます。 どちらの新技術も、企業ユーザーにKozuchiを介したデモ環境と専用ポータルサイトを通じて個々のユーザーに提供 ^（2)。 富士通は、今後2つの技術をグローバル市場に発売する予定です。

図1.信頼できる対話型AIの概要

新しく開発された技術

1.インタラクティブAIの反応で幻覚を高精度に検出する技術

企業では、対話型AIをビジネス運営に適用する際、登録されたビジネスデータから質問に関する情報を抽出し、外部対話型AIに質問する際に参考情報として追加する技術を活用することが多い。 この方法は正確な回答を提供し、幻覚を減らしますが、インタラクティブなAIは質問に関連する情報を正しく抽出できず、それに応じて関連性のないまたは誤った回答を生成する可能性があるため、完全な幻覚予防は継続的な問題を示します。 AIの答えが幻覚（幻覚スコア）である可能性を推定する方法はありますが、インタラクティブなAIが同じ事実を表現するためにさまざまなフレーズを使用しているため、このスコアを正確に推定することは依然として困難な作業です。

富士通は、インタラクティブなAIが固有名詞と数字について誤った情報を頻繁に生成し、繰り返しの質問によって回答内容が変わる傾向があることをもとに、文章で幻覚が発生する可能性のある部分を識別して集中する技術を開発しました。

非常に正確なサイケデリックスコアを計算するために、新技術は最初にAIの回答を3つの部分（主語、述語、目的語など）に分割し、次に回答内で名前付きオブジェクトを自動的に識別します。 次のステップでは、テクノロジはこれらの名前付きエンティティを空にし、外部AIにこれらの特定の表現をより正確に定義するように繰り返し要求します。 (図2)

富士通は、WikiBio GPT-3サイケデリックデータセットを含むパブリックデータを使用してこの技術をベンチマークしました。 ^（サム) 検出精度（AUC-ROC）を向上させることができました。 ^（4) SelfCheckGPTなどAI幻覚を検出する他の最先端の方法に比べて約22%程度 ^（5)。

図 2. インタラクティブ AI サイケデリック検出技術の概要

2. 対話型AI対応フィッシングURL検出技術

インタラクティブなAIはトレーニングデータに基づいてレスポンスを生成するため、敵対的なプリンシパルはAIのトレーニングデータに悪意のある情報を提供し、偽のWebサイトにつながるフィッシングURLなどの操作された情報を含むレスポンスを生成するようにAIをトリックする可能性があります。

この問題を解決するために、富士通はインタラクティブなAIの応答で操作されたURLを検出する技術を開発しました。 テクノロジーがフィッシング URL を識別すると、ユーザーに警告メッセージが送信されます。

富士通の新技術はフィッシングURLを検出するだけでなく、AIモデルを騙して故意に誤判を引き起こす既存の攻撃に対するAIの抵抗力を高め、AIの信頼性の高い対応を保証します。 新たに開発された技術は、富士通とベン・グリオン大学に設立された富士通小規模研究所で、ネゲブのベングリオン大学が共同で開発した技術を活用します。 敵対的個体が単一タイプのAIモデルを攻撃することが多いという点を活用し、さまざまなAIモデルで情報を処理し、判断結果に対する根拠の違いを評価して悪性データを検出する技術だ。

この技術は、フィッシングURLの検出だけでなく、表形式のデータを活用したAIモデルを欺く一般的な攻撃を防ぐためにも活用でき、他のサービスに対する攻撃を防止するためにも活用できる。

図 3. フィッシング URL 検出技術の概要

関連リンク

持続可能な開発目標(SDG)への富士通の約束

このプロジェクトに最も関連する目標

プレスコンタクト

ここに記載されているすべての会社または製品名は、それぞれの所有者の商標または登録商標です。 このプレスリリースに記載されている情報は発行時に正確であり、予告なく変更されることがあります。

日付： 2023年9月26日

都市: 東京、日本

会社： 富士通株式会社