総合研究部 研究員　吉田　基

1.はじめに

2019年にデービッド・ベッカム氏協力の下、9ヶ国語を使って、マラリア撲滅を訴える動画が公開されました。母国語はベッカム氏本人のもの（オリジナル動画）ですが、他の言語はディープフェイクを用いて作成されたものであり、注目を集めた結果、約3億3000万円の資金調達に成功しました。このようにディープフェイクがもたらす経済的効果は、大きいものといえます。他方でディープフェイクが、犯罪に用いられるケースが確認されており、本稿では、ディープフェイクの恐ろしさ、その対策を検討していきます。

2.ディープフェイクについて

ディープフェイクに、明確な定義はありませんが、「フェイク」と「ディープラーニング（深層学習）」を組み合わせた造語とも言われており、高度な画像生成技術を用いた合成された動画又は技術そのものをいいます。ディープフェイクを生み出す技術として、通称GAN（Generative Adversarial Networks）という技術が用いられています。GANでは、AI（人工知能）がデータをベースにコンテンツを作成するジェネレーター役とコンテンツを本物かを見抜こうとするディスクリミネーター役に分かれます。ディスクリミネーター役のAIからジェネレーター役のAIにフィードバックがなされて、弱点分析をした後に、新たに偽コンテンツを作成して、再度ディスクリミネーター役のAIに立ち向います。この作業を何百回と繰り返し、偽コンテンツの精度を高め、より本物に近い映像、画像、音声を作成します。

(1)ディープフェイクのもたらした効用

ディープフェイクの制作ツールは、ソーシャルメディアで画像を共有する際に多用される顔を入れ替える市販のアプリから、一流研究者のもとで開発された最先端のAIまで、数多く存在します。ディープフェイクの技術を用いて動画コンテンツを作成する場合、既存の映像等を編集すれば足り、実際のセットを使う必要がなくなります。既にディープフェイクは実用化されており、2019年にはAI技術により再現された美空ひばり氏が、紅白出場を果たしたり、XJAPANのhide氏のパフォーマンス映像が制作されています。ディープフェイクの普及により映像作品の制作コストを、従来の制作方式に比べて、10分の1に減らすことが可能となりました。このように映像作品の制作費用を抑えたり、懐かしのスターのパフォーマンスをリアルに再現・創作したり、資金調達を可能としたりと有用な側面があります。

(2)増加するディープフェイクとその被害

2018年に設立されたディープフェイクの検知及びモニタリングサービスを提供するディープトレイス社によれば、2019年10月時点で、1万4600本を超えるディープフェイクによる映像が、ネット上にシェアされています。そして、その数は約8ヵ月で2倍近く増えており、ディープフェイクが急増しているものと推察されます。ただ、現在、出回っているディープフェイクの約96％は、ポルノ目的であり、有名な女性たちが被害を受けています（参考ページ）。具体的にはディープフェイクで、有名人の顔とポルノ動画の演者の顔を入れ替えた動画が作成され売買がされています。また、リベンジポルノにも利用され、複数のウェブサイトに拡散されている例が確認されており、深刻な事態に陥っています。一度、インターネット上に投稿され拡散されると、自力で全て削除するのが極めて困難で、被害の回復が難しいのが現実です。救済方法として、一つは検索結果を非表示にすることを検索サービス業者に求めること、いわゆる忘れられる権利の主張が考えられます（忘れられる権利全般に関しては「SPNの眼」2020年8月号を参考にしてください）。なお、忘れられる権利を主張し、仮に認められた場合には社会的に注目を集めることとなり得ます。すなわち、検索されても表示されないことを求めて社会の目に晒されないようにしたのにもかかわらず、逆に注目を浴びてしまうという事態が生じ得ます。したがって、権利主張や被害回復を図る方法については慎重な検討が必要となります。

また、プライバシーが侵害されたとして、金銭賠償を求めることが考えられます。この点、プライバシー権に関する「宴のあと」事件の判決（東京地裁判決昭和39年9月28日）が有名であり、同判決によると「当該私人の私生活であると誤認しても不合理でない程度に真実らしく受け取られるものであれば、それはなおプライバシーの侵害としてとらえることができる」としています。ディープフェイクは偽物ではありますが、制作された映像等が真実らしく受け取られるものであれば、プライバシーの侵害が認められるように思います。

3.ディープフェイクの悪用

前述したとおり、ディープフェイクと言われると、フェイクポルノがよく話題に挙がり、出回っている動画の数からすると、今まさに解決すべき問題の１つです。フェイクポルノも許しがたいものですが、本稿では、フェイクポルノ以外の犯罪にもフォーカスをあてていきます。

(1)ディープフェイクによる偽の証拠

2020年3月18日放送のドラマ相棒シーズン18の最終回で、ディープフェイクが取り挙げられています。詳細をここでは述べませんが、ディープフェイクを用いて偽の動画を作成し、証拠をねつ造するという内容です。ドラマの世界の話と思われるかもしれません。しかし、誰かが話している映像の顔部分を入れ替えることにより、あたかも本人が話した、行ったかのような動画を多くの人が疑わない程度にまで作成することは十分可能です。

従来、録音、動画による証言、監視カメラの映像は、さほど疑われることなく証拠として用いられてきました。ただ、ディープフェイクの存在を前提とすると、有事や不正の調査の際に出てきた証拠となる録音や動画の真正性を疑う必要性が出てきます。すなわち、安易に証拠として用いることができなくなります。また、有効な証拠の信憑性を減殺（軽減）させるため、犯罪者がディープフェイクを作成することも考えられます。いずれの場合も判断を難しくさせたり、証拠の信憑性の審査に時間を要することとなり、迅速な問題の解決を阻害することとなります。

(2)なりすましによる詐欺

ディープフェイクにより、本物に近い偽の経営者等の画像、動画、音声が作成され、ビジネスメール詐欺（以下、「BEC」という。）の場面で用いられることが、2020年の新たな脅威として挙げられています（トレンドマイクロ株式会社「2020年、私たちが注意すべきセキュリティの脅威とは」）。また、松原美穂子（2019）『サイバーセキュリティ組織を脅威から守る戦略・人材・インテリジェンス』によるとBECの被害額はFBIのレポートでは2013年10月から2018年5月までに、報告されただけで125億ドル（約1兆3750億円）です。また、報告件数は、78,617件です。日本では、2015年頃よりBECの被害が確認されており、2017年12月に日本航空が3億8000万円の被害を被っています。BECには5つのタイプがありますが、そのうち、ディープフェイクによる社外の権威ある第三者へのなりすましをとりあげて説明を行っていきます。ちなみに、他の4つのタイプは①経営者へのなりすまし、②取引先との請求書の偽装、③窃取メールアカウントの悪用、④詐欺の準備行為と思われる情報の詐取があります。

(ア)ディープフェイクによる詐欺被害の例

海外においてディープフェイクを用いたBECは、既に存在しており、実際の事件の概要を簡単に紹介します。

英国企業を拠点とするエネルギー事業のCEOに、ドイツにある親会社のCEOより電話があり、ハンガリーの業者に22万ユーロ（約2600万円）を至急送金との依頼がなされました。この時の電話音声はディープフェイクで作成されたものでしたが、被害企業のCEOは、上司であるドイツの親会社のCEOと電話で話していると誤認してしまい、結果的に送金しています。その後、3度にわたり同様の電話がかかってきたこと、3回目の電話がオーストラリアの番号より電話がかけられていたこともあり、疑念を抱いたため問題が発覚しました。その後の事実確認で送金してしまった金銭は、ハンガリーの口座に振り込まれた後、メキシコに送金されたことが判明しています。また、電話上のドイツの親会社CEOの声は、ご丁寧なことにドイツなまりまで再現されていたといわれています。このようにディープフェイクの生成物のクオリティは、高いものといえます。この点、ディープフェイクを含めたフェイク問題を専門に研究するカリフォルニア大学のシンディ・シェン准教授は、ディープフェイクを見抜くことは難しいと述べています。通常、電話をかけてきた相手の声が自然に響く、知り合いに似たものであれば会話を続けてしまうものといえ、英国企業のCEOが誤認しても仕方のなかったことといえます。

(イ)詐欺と闘うためには

これまで述べてきた通り、ディープフェイクで生成される音声や動画は極めてクオリティが高いものです。既にディープフェイクにより作成された音声や映像により生体認証システムが突破されており、2種類の有名な顔認証プラットフォームにおいて、95%の確率で認証システムを欺くことが可能とする結果も得られています。これらのことからすると、ディープフェイクを用いられ経営者へなりすまされたり、社外の権威ある第三者へなりすまされた場合に、電話上の話し声のみで、誤信に陥れる行為であることを見抜くことは不可能といえます。このようなディープフェイクとどのように闘っていくかを検討していきます。

①技術的対策

技術的なディープフェイク対策を見ていきます。ディープフェイクかをAIを用いて判定する取り組みも進んでいます。FacebookはMicrosoftや米マサチューセッツ工科大学（MIT）などと組んで、ディープフェイクを検出するためのオープンソースツール開発を目指すプロジェクト「Deepfake Detection Challenge」（DFDC）を主宰しています。また、米国防総省の国防高等研究計画局（DARPA）も、画像や動画が本物かどうかを自動的に検証できる技術の開発を目指す取り組みを行っています（参考ページ）。ただ、当然のことながら、そうしたフェイクを見抜く技術が開発されたとしても、その上を行く改ざん技術がすぐに登場するため、いたちごっこが続きます。仮に、技術的な対応策が開発されても非常に高額となってしまい、費用相対効果の面で現実的な対策となり得ない可能性があります。また、証拠の偽造の場合のように、検証に時間をかけることが可能な場合であればともかく、迅速に処理をしなくてはならない取引の依頼の場合、電話上で即時にAIを用いてディープフェイクかを見分けることができるとは限りません。

また、元画像のメタデータから撮影場所、時間、加工された場合にはその旨を記録し、これを暗号技術により改ざん困難にして、判定する方法も検討されています（参考ページ）。例えば、ある事件に関する画像情報が、事件現場とは異なる場所で撮影されていたかなどを確認し、ディープフェイクであるかを判定します。この機能はニューヨークタイムズや「Adobe Photoshop」で導入されるといわれています。これは検証を行うことを前提としており、迅速に処理をしなくてはならない場合には、有効とまで言い切れません。

②中間対策：入口対策からの脱却

前述の通りディープフェイクを技術で検知していくことが難しいため、人の目で「偽物ではないか」と見破っていく必要があります。そのため、「目の前にいる人、音声、映像が作りものであるかもしれない、フェイクだ。」と疑っていかなくてはなりません。ここでシンディ・シェン准教授の実験を少し説明します。どのような実験かというと、フェイク画像と偽説明をニューヨークタイムズなど既存のメディアに載せ、SNSで多くの「イイね」がなされ広くシェアされているかのような体裁を整えて、受け手が当該情報を信頼するか、その判断根拠は何かを尋ねる実験が行われました。実験の結果、被験者が示された画像の判断を左右した要素は、当該画像に対し、元々どのような考えを持っていたか、知識を有していたかであり、反対に何も知らないと偽物を漫然と本物であると信じてしまう傾向があることが判明しました。この実験結果から考察すると、偽物が介在することの認識を持つことではじめて、攻撃されている可能性に気が付くことが可能となり、その後の業務フローで依頼内容の検証の機会を持つことができます。すなわち、ディープフェイク対策は見破ること（入口対策）ではなく、むしろ自社内で真正性を検証できること（中間対策）が対策の1つとなります。この点、日本のセキュリティ対策の中心が入り口対策に注力しているように思われます。しかしながら、ディープフェイクのクオリティの高さからして入口で検出することは困難であることからすると中間で闘わざるを得ないと思います。

さて、真正性を検証せよと述べましたが、先ほどの詐欺の例であれば依頼者本人に再確認を行う、過去の取引例と照らして異常性がないかを確認するなど、様々な方法が企業ごとに考えられるかと思います。この場合、真正性の検証のために、集めた情報にもフェイクが存在するのではないかと疑えば、より多くの情報を集めなければならなくなり、何を信じてよいのかわからない、という程度まで強くなった猜疑心を持つようになるかもしれません。そこで、どの程度の情報を収集すればよいか、という点は検討しておかなければなりません。これは結局のところ総合判断でリスクベース・アプローチに基づき検討していくこととなるのではないかと思われます。

(3)なりすましによる市場操作、風評被害

米国前大統領のオバマ氏が、現大統領のトランプ氏を批判する動画が、ディープフェイクにより作成されています。筆者も最初に見たときは本物と思い、まさかオバマ氏がこのような批判をするとはと驚いた記憶があります。

有名人の場合、少し検索すれば多くの動画、写真を入手することができます。そのため、フェイクを作成する素材が多いので、精度の高い映像を作成することが可能となります。その結果、特定の人物になりすまして、あたかも同人が発言したかのような映像を作成し、市場操作や企業の信用を低下させることすら考えられます。市場操作に関しては、朝日インタラクティブ株式会社が運営するZD Net Japanの「2020年は「ディープフェイク」が流行かセキュリティ脅威予想」でも言及されています。本稿でもなりすましによる市場操作や企業に対する信用の毀損についても説明をしていきます。

例えば、大手上場企業の代表取締役社長が、違法薬物を吸引し危険な状態で運転をしている動画を作成することで、株価の下落を狙うことが可能となります。また、人気のある有名人が、ほとんど知られていない会社の製品を推奨する動画や、ある会社の代表取締役が、別会社の株式を公開買い付けする旨の発言をした動画作成することも可能となります。このようにディープフェイク動画により株価に影響を与えて利益を得る（株価操縦する）ことができるのです。

また、企業の信用を毀損するために、経営者が、あたかも不適切発言をしているかのような動画を、ディープフェイクにより作成することも考えられます。この場合、ディープフェイクによる証拠の偽造や詐欺とは大きく異なります。証拠の偽造や詐欺の場合、ディープフェイクの可能性を検証し、実際に被害が出る前に食い止めることが可能となります。すなわち、偽造の証拠を採用する前、送金する前に指示の真正性を確認しディープフェイクの介在の有無を確認することができます。他方で、信用の毀損の場合には、世の中に当該ディープフェイクが出回った瞬間に、企業へ被害が生じ得ます。そして、例で挙げた不適切発言のような情報は、すぐに拡散されます。拡散される際に、一般的に情報の内容の真偽は検証されません。そもそもディープフェイクであるため、その真偽を確認することは難しいこと、一般人が当該発言者の情報を有していると限らないことから、本物であると信じ込んでしまいます。そのため、短期間のうちに企業の信用は低下してしまうことになりかねません。

まず、このような場合の対応として、参考となり得る事例を2つ紹介していきます。チロルチョコ株式会社の製品に芋虫が混入しているとの投稿が2013年6月になされ拡散されました。これを早い段階で検知し事実確認を行い、チロルチョコ株式会社の公式ツイッター上で「現在ツイートされている商品は昨年12月25日に最終出荷した商品で掲載されている写真から判断しますと30～40日以内の状態の幼虫と思われます。」と公表しています。すなわち、芋虫が商品購入後に混入したことを示唆するものです。この的確なツイートはインターネット上で称賛され、結果的にフォロワーを1000人以上増やすことにつながりました。次に、株式会社ローソンエンタテイメントで購入したミュージカルのチケットが取り消し手続きをしていないにもかかわらず、なぜかキャンセル扱いになったとの投稿がされ拡散された事例もありました。これを同社が検知し、投稿者が公開した領収書の写真などの情報より購入店舗を特定し、取引データを確認しました。その結果、チケット入金自体の事実はなく、投稿者がアップした領収書が発行された事実が存在しないことを確認し、これを公表しました。

今回取り上げた事例では、迅速な事実確認により、明確かつ簡潔な説明を行っていることが共通しているものといえます。さて、ディープフェイクに話を戻します。技術的にディープフェイクを見抜くことが難しいことは再三説明してきた通りです。そうすると、人間の手で真正性の確認を行わなくてはならなくなり、「迅速」という点を担保できない可能性があります。そのため、情報を開示するまでの対応につき、難しい部分が残ります。ただ、迅速かつ客観的に事実確認を行い、説明責任を果たすという点では異なるところはなく、実務的には取り上げた事例を参考に対応することとなろうかと思います。

4.おわりに

本稿ではディープフェイクについて検討をしてきました。筆者の知る限り国内でのディープフェイクを用いた企業に対する攻撃が確認できないこと、また、筆者の能力的限界もあり、なかなか読者が唸るような対策を示すことができなかったかもしれません。ただ、今後（近い将来、もしかしたら年内！）、企業に襲いかかるであろうディープフェイクの脅威への対策について、本稿を足掛かりとして検討につなげていただければ、それだけで筆者としては望外の喜びです。

ディープフェイクを悪用すれば、紹介した詐欺、偽造等の他にも、多くの領域に甚大な悪影響を及ぼし得るため、極めて深刻な脅威だと認識すべきです。AI分野における技術の進展は日進月歩のレベルではなく、もはや幾何級数的に進歩していきます。今後、どのように対策をしていくかの議論の深化に期待したいところです。

参考文献
松本一弥『ディープフェイクと闘う「スロージャーナリズム」の時代』（朝日新聞出版）