「生成AI」による新たなリスク

「人工知能（AI）」技術の飛躍的な進化は、人々の生活に大きな恩恵をもたらしている。中でも新たなコンテンツを生成する「生成AI」の登場は、人間の創造性や効率を大幅に向上させる一方で、新たなリスクや危険性を浮き彫りにさせた。

AIが生成するテキストや映像、音声は、もはや人間が作り出すものと見分けがつかないほどの精度に達しており、ディープフェイクやフェイク動画、フェイクニュースといった新たな脅威が広がっているのだ――。

じつはここまでの文章、AIが書いた記事の冒頭部分である。

利用したのは、なにかと話題の「ChatGPT」。「生成AIによる高度なディープフェイクやフェイクニュースなどに踊らされないよう、読者に警鐘を鳴らす記事を書いてください」といった、「プロンプト」と呼ばれる簡単な命令文を入力しただけで、5000文字程度の原稿をいとも簡単に吐き出した。

生成AI「ChatGPT」に原稿を書いてもらうため送信した「プロンプト」の内容

ものの1分ほどで“生成”された文章はこう続く。

「この状況下で、私たちはどのようにして事実を見極め、虚偽情報に踊らされないようにするべきか。AIが引き起こす新たなリスクを明らかにしつつ、メディアリテラシーの重要性について考察する」

入りとしては悪くない。その後に続く文章も、おもしろみは欠けるが、内容は正しい。だからといって、本稿を“コピペ”で終わらすことはできない（しかも、こうしたトリッキーな書き始めで記事を生成することは、まだAIには難しい）。

ここからは100％人間の手で「AIを見抜くメディアリテラシー」の必要性を論じていく。

岸田首相のディープフェイク

AIが生成した創造物が定期的に世間を賑わせている。国内では岸田文雄首相を模した「偽（フェイク）動画」の拡散が記憶に新しい。

岸田文雄首相を模したフェイク動画が世間を騒がせた（動画のキャプチャを一部加工）

日本テレビのニュースチャンネル「日テレNEWS24」の中継画面を模してつくられたその動画は、岸田首相が卑猥な内容を淡々とカメラに語るもの。2023（令和5）年夏、作成者が「X」や「ニコニコ動画」に投稿。削除されたが、他人によって同年11月にXへ再投稿されると一気に拡散。230万回以上閲覧され、テレビや新聞なども大きく報じた。

元動画の投稿者に直接、取材をした読売新聞の記事は、以下のように報じている。

（もとの）偽動画を制作して投稿したのは大阪府の男性（２５）だ。

男性によると、ネット上で公開されている首相の記者会見や自民党大会の演説などの動画から、首相の音声をＡＩに学習させて、偽音声を用意した。首相のオンライン記者会見を伝えた日本テレビのニュース番組を利用し、自身の声を首相の偽音声に変換させる機能を使って、わいせつな発言を吹き込んだ。

そして、セリフに合うように、首相の口の動きを加工したり、テロップを作ったりして、１時間足らずで作り上げたという。

こうした生成AIの技術を使い、悪意をもって本物のように合成された画像や音声、映像を「ディープフェイク」とも呼ぶ。総務省の情報通信白書は以下のように定義している。

「ディープフェイク」とは、「ディープラーニング（深層学習）」と「フェイク（偽物）」を組み合わせた造語で、本物又は真実であるかのように誤って表示し、人々が発言又は行動していない言動を行っているかのような描写をすることを特徴とする、AI技術を用いて合成された音声、画像あるいは動画コンテンツのことをいう。

近年、世界各国でこれらディープフェイクによる情報操作や犯罪利用が増加しており、その対策には各方面からの取組が行われているものの、いたちごっこの様相を呈している。

高度な技術がなくとも、簡単な知識さえあれば、インターネット上のクラウド・アプリケーションなどで誰でも安価に（場合によっては無料で）高精度なディープフェイクをつくり出すことができる時代になった。

海外では2018年頃から著名人や政治家を模した偽物の動画や画像が急増し始めたが、当初は「不自然」と指摘されていた動画や画像は近年、専門家でも見抜くのが困難なほど精緻になってきており、時には政治に利用されることもある。

各SNSはディープフェイク対策に躍起になっており、多くは投稿後、話題になった時点で削除対象となっているが、雨後の筍のように沸いており、追いつかないのが実情だ。時には為政者の権限でより多くの目にさらされることもある。

ハリス副大統領が「架空」の演説

「今日は今日で、昨日は今日の昨日。明日は今日の明日になるから、未来の今日が過去の今日のようになるために、今日を生きよう。そうすれば、それが明日になる」――。

2024（令和6）年7月、バイデン大統領が米大統領選から撤退すると発表した翌日、民主党の米大統領選候補に指名されたカマラ・ハリス副大統領がそう演説しているように見せるフェイク動画がSNSを駆け巡った。

“Today is today. And yesterday was today yesterday. Tomorrow will be today tomorrow. So live today so that future today will past today, as it is tomorrow.”

— Kamala for President, 200 IQ pic.twitter.com/4WYLqyxnQL

— JaguarAnalytics (@JaguarAnalytics) July 21, 2024

「ワード・サラダ」と揶揄されている彼女お気に入りの言い回し、いわば“カハラ構文”を真似た創作であり、AIを用いて制作されたディープフェイクでもある。

その数日後、今度は別の人物が投稿したフェイク動画が話題となった。ハリス副大統領陣営が制作した実際の選挙キャンペーンの広告動画を加工したものだ。

カマラ・ハリス副大統領そっくりの声で「あなたは人種差別主義者です」などと語っている動画がYouTubeにも投稿されていた

「私はカマラ・ハリスです。バイデンが討論会で高齢を露呈したおかげで、私は大統領選の民主党候補になりました。ありがとう、ジョー」「私が選ばれたのは、究極のダイバーシティ採用だから。私は女性であり、有色人種でもある。私の発言を批判するなら、あなたは性差別主義者であり、人種差別主義者でもあります」……。

本人そっくりの声で、早口でそうまくしたてるこの動画もAI技術を活用したディープフェイク。1.9億人ものフォロワーがいるXのオーナー、イーロン・マスク氏が「This is amazing（これはすごい）」というメッセージを添えて再投稿（リポスト）したことから、一躍有名となった。

これが議論を呼んだ。

This is amazing 😂
pic.twitter.com/KpnBKGUUwn

— Elon Musk (@elonmusk) July 26, 2024

「フェイク」か「パロディ」か

SNSの多くはAIによる「フェイク」が含まれた動画や音声の投稿を規約で禁じており、Xも2023年4月、「合成または操作されたメディアに関するポリシー」を公開、ディープフェイクやフェイク動画などを規制し始めた。以下はその冒頭だ。

利用者を欺いたり、混乱させたりして、損害をもたらす可能性のある、合成または操作されたメディアや、文脈から切り離されたメディア（以下、「誤解を招くメディア」といいます）を共有することは禁止されています。

「誤解を招くメディア（動画や音声）」の「想定される要素」として検討されるものとして、「特にAIのアルゴリズムの使用を通じて、実在の人物を描写しているメディアが、ねつ造または偽装されているかどうか」という項目も明記されている。

このXが定めたポリシーに、マスク氏が共有した先の投稿が反しているのではないか、という批判が集まった。

対してマスク氏は、「元ネタ」がパロディ作品を標榜していることから、意に介していない。Xに投稿された元ネタの動画も、マスク氏が共有した投稿も、削除対象とはならず、今も閲覧可能な状態にある。

確かに、元ネタの投稿者はほかにも複数のパターンのフェイク動画をXや「YouTube」で投稿しており、いずれも「Kamala Harris Campaign Ad PARODY（カマラ・ハリス キャンペーン広告パロディ）」というメッセージやタイトルを添え、パロディであることを明示している。

しかし、マスク氏のリポストだけを見た人は、そうとはすぐにはわからない。ソースをたどらないと、「Ad PARODY」の文字は認識できないからだ。しかも、マスク氏は共和党候補者のドナルド・トランプ元大統領の支持を表明している。ハリス副大統領をおとしめる動画が本物であると勘違いするユーザーが現れても不思議ではない。

「利用者を混乱させかねない合成メディア」と言えないこともないが、XというSNSにおいてマスク氏の判断は絶対。規約違反かどうかはさておき、マスク氏の投稿は、「元ネタの出典や引用元を確かめる」ことが重要という示唆を与えている。

大統領からテイラー・スウィフトまで

海外では、パロディや風刺では済まされないような、より悪質な事例も増えている。

2022年3月、ロシアのウクライナ侵攻後、ゼレンスキー大統領がウクライナ軍や国民に降伏・投降を呼びかけるようなフェイク動画がSNSで拡散した。

米バイデン大統領関連も多い。最近では2023年10月、「徴兵法を大統領権限で発動する」とバイデン大統領が語るフェイク動画が動画投稿アプリ「TikTok」やYouTubeで拡散した。標的は、著名アーティストにも及ぶ。

2024年1月には、米国のテイラー・スウィフトさんのフェイク動画が出回った。「ハロー、私はテイラー・スウィフトです。梱包ミスのため販売できない『ル・クルーゼ』の調理器具セット3000個をファンの皆さんに“送料負担のみ”で差し上げます」。動画はそう彼女の声で呼びかけ、悪意のあるサイトへ誘導。「送料」をファンから奪う詐欺だった。

同時期、彼女は性的なフェイク画像の被害にもあっている。ここでは詳細を省くが、韓国のアイドルなど、世界中の女性アーティストが悪質なディープフェイクによるポルノコンテンツの被害者となっており、問題視されている。

世界経済フォーラム（WEF）は「グローバルリスク報告書2024年版」で、「地球規模の喫緊の課題がもたらすリスク」の調査結果を公表。「誤報と偽情報」が「異常気象」に次いで2番目に高いリスク項目だった。その発表資料でWEFはこう指摘している。

2023年に見られたような生成AI（人工知能）コンテンツのブームは今後も続き、様々なアクターがこの傾向を利用して、社会の分裂を増幅させ、イデオロギー的暴力を扇動し、政治的抑圧を行おうとするかもしれません。

誤報や偽情報と社会の二極化は本質的に絡み合っており、互いに増幅し、増大する懸念があります。（中略）改ざんされた情報が反感を煽った結果、職場における偏見や差別から、暴力、ヘイトクライム（憎悪犯罪）に至るまでが起こり得ます。

特定ターゲット相手の詐欺

こうした政治家や著名人を騙るディープフェイクは、それだけ注目や拡散もされやすい。「フェイク」だと見破られる確率も高くなる。

しかし、厄介なことに、クローズドな環境で特定のターゲットをだますための“見つかりにくい”ディープフェイクも多数、報告されている。

2024年2月、香港のある企業の会計担当者が、最高財務責任者（CFO）などになりすましたディープフェイクによって、2億香港ドル（約38億円）ものお金を騙し取られる事件が起きた。

詐欺師は、過去のオンライン会議からCFOを含む複数のクローン参加者を作成。リアルタイムに実在するかのようにオンライン会議に“参加”し、会計担当者に送金を指示。担当者は映像が本物と思い込み、指示通りに複数の銀行口座に振り込んでしまったという。

アーカイブではなくリアルタイムの動画でだますようなことが可能なのか。大手セキュリティ会社の米トレンドマイクロはこの事件に関する記事で以下のように分析している。

攻撃者がリアルタイムのビデオ通話を行うことは難しいだろう。現在の一般的なツールでは、数行の文章のディープフェイク動画を生成するのに30分の処理時間が必要だからだ。（中略）攻撃者は通話中にリアルタイムで再生できるよう、あらかじめ複数のコンテンツの「クリップ」動画を生成していた可能性が高い。

この記事は、｢最近の報告によると、テキストからビデオを生成する技術が進化し、近い将来リアルタイムの生成が可能になると予測されている｣とも指摘。チャットで言葉を打つと、他人になりすましたディープフェイクの“アバター”がリアルタイムで会話をする……。そんなことが実現してしまうというのだ。

映像を伴わない音声のみであれば、すでに実現しており、海外を中心にいわゆる「オレオレ詐欺」のような特殊詐欺被害も増えている。

「AI音声詐欺」も増加

大手セキュリティ企業の米マカフィーは2023年5月に公開したレポートで、「生成AIを悪用した『音声詐欺』が増加している」と警鐘を鳴らした。

同レポートによると、日本を含む世界7カ国、7054人を対象に調査した結果、AI音声詐欺にあったことがある人は10%で、その被害者のうち77％が金銭を失ったという。3 分の 1 以上が 1000 ドル以上、7% は 5000〜1万5000 ドルを窃取された。

被害者の家族や友人知人を装い、電話やボイスメッセージなどで「交通事故にあった」「強盗にあった」「財布や携帯電話をなくした」「海外旅行中にトラブルにあった」などと伝え、送金を要求する古典的な詐欺。違うのは、その声が犯罪者の声ではなく、犯罪者によって操作された生成AIによるもの、という点だ。

これもディープフェイクの一種。同レポートはオンライン会議やボイスメッセージの増加で、元ネタとなる音声データの入手が容易になっていると指摘する。

ただし、週1回以上、肉声をオンラインで共有する率は、調査対象の7カ国中、日本は最も少なく、音声詐欺の被害にあった人も3％と最下位だった。日本語の壁に守られている側面もあるだろう。

それでも、安心はできない。英語圏で発達したテクロノジー犯罪は、いずれ日本にも上陸する。そもそも高齢化が進む日本は特殊詐欺王国。今後、ディープフェイクによる新たな特殊詐欺が横行する可能性は高い。だからといって、特別な備えをする必要はない。

マカフィーは同レポート内で、「AI音声詐欺に引っかからないための4つの方法」として、人間による特殊詐欺と共通する対応を示している。

1. 子どもや家族、信頼できる友人と「合言葉」を決める

当人同士しか知り得ない合言葉を決めておき、電話、メッセージ、メールで助けを求められた際、必ずそれを確認するようにする。

2. 常に情報源を疑う

知らない発信・送信元、または見覚えがあるものであっても、助けを求める電話、メッセージ、メールは、一度立ち止まって考える。詐欺師を困らせるために、「息子の名前を確認したい」「お父さんの誕生日はいつ？」といった具体的な質問をするのも効果的だ。

3. 感情に流されない

サイバー犯罪者は、対象者が感情的になって行動を起こすことを期待している。冷静になって「本当にその人の声なのか」「その人が本当にそんなことを頼むだろうか？」と自問し、情報が正しいことを確認する前に返信しないようにする。

4. 知らない番号からの電話に注意

知らない電話番号からの予期しない電話には出ない、というのが一般的には賢明。留守番電話やボイスメールでメッセージを残した場合は、考える時間ができ、家族や友人に連絡して確認することもできる。

あふれる「AIモデル」

政治的被害に著作権侵害、ポルノ被害、特殊詐欺まで、ディープフェイクがもたらすリスクは幅広い。それでも自分には関係のない話、と考える人がいるかもしれないが、あなたも迷惑を被る可能性がある。

AIによる創造物は、生活の身近なところに、そうとわからないかたちでひっそりと隠れている――。そうした警鐘を鳴らす投稿が今年1月、Xであった。

このヘアサロン、AIで出した画像を「美容師が切ったスタイル一覧」に載せててひいた
イメージ画像ですとも付けてないし、これ詐欺にあたらないの？
バレないと思ってるのかな？

そのうち整形外科もAI画像を症例ですとか言って上げそう pic.twitter.com/iKYnzjj4Pu

— メタトロンA子 (@haisupe_bijo) January 5, 2024

このヘアサロン、AIで出した画像を「美容師が切ったスタイル一覧」に載せててひいた
イメージ画像ですとも付けてないし、これ詐欺にあたらないの？
バレないと思ってるのかな？

そのうち整形外科もAI画像を症例ですとか言って上げそう

この投稿は215万件以上閲覧され、7400件以上の「いいね」がつくなど、話題を呼んだ。同様の指摘は以前からもなされている。背景には、安価にオリジナルのAI画像をつくれる環境が整ってきたことに加え、「AIモデル」事業者の躍進もある。

「モデルのキャスティング、カメラマン、場所、日程など 従来であればかなり時間も費用もかかるものを省け、 集客、ブランディングともに無駄なく、効率よく、ベストが出せて とても満足しております」「AIでのスタイル写真だと誰一人気づいておらず、 「こんな風になりたい！」と写真を参考に来店いただいてます」……。

ある大手AIモデル事業者のウェブサイトでは、利用した美容室（ヘアサロン）の声として、こんなコメントを紹介していた。この事業者は、1500店舗以上のヘアサロンからの利用実績があるという。

AIモデルは、通常、広告に使われる。ヘアサロンの大手検索サービス「ホットペッパービューティー」にも進出している。

ホットペッパービューティーを覗いてみると、検索上位の中に、さっそくAIモデルを起用していることを明示しているサロンをいくつか見つけることができた。

しかし、AIモデルであることを明かさず、スタイリストと紐づいた「実績」として、かなりのAI画像が使われているという指摘もある。こうした事態に「AIアートになんて負けるものか！」と異を唱えるサロンもある。

「ホットペッパービューティー」内のブログで、AIモデル起用の風潮に疑問を呈するサロンもある

「誤認」しないよう心がける

「こんなスタイルにしたい」という気づきを与えるための素材として、AIモデルは有効だ。生成AIの能力は日増しに上がっており、ヘアサロンでその人に似合ったスタイルの提案を鏡越しでしてくれるようになる日も近いだろう。

ただし、AIモデルであることを明示せず、そのサロンのスタイリストに紐づけるかたちで広告としてAI画像を羅列した場合、そのスタイリストによる「作品」だと勘違いする消費者も出てくる可能性がある。

お金を払ってサロンに出向き、AI画像のようにならなかった場合、あとからAIだと知ったら「詐欺られた……」と感じてしまうようなことも増えるかもしれない。最初からそうだと知っていれば、行かなかったと。

つまり、サロンが掲載するAI画像は、見る人にとってはディープフェイクにもなり得る。これを、法律用語では「優良誤認」と呼ぶ。

景品表示法第5条第1号は、一般消費者による自主的かつ合理的な選択を阻害するおそれがあると認められる表示を禁止している。

消費者庁によると、一般消費者に対し「(1)実際のものよりも著しく優良であると示すもの」「(2)事実に相違して競争関係にある事業者に係るものよりも著しく優良であると示すもの」がその対象であり、誤って表示してしまった場合であっても、優良誤認表示に該当する場合は「不当表示」として規制されることため注意が必要としている。

翻って、ホットペッパービューティーで用いられているAI画像は優良誤認に相当するのだろうか。これまで措置命令などの摘発事例は報告されておらず、今のところ“グレー”と言わざるを得ない。

ただし、当のホットペッパービューティーは禁止している。運営するリクルートは今年2月、サロン向けのガイダンスで「AI画像の利用を禁止する」と明示。以下はその内容だ。

【写真・動画に関する広告作成ルール】
◆イメージ画像の使用について
・実際に受けることのできない商品・サービスなどを表すイメージ写真はご使用できません。
・スタイリストに紐づくスタイル写真に著作権フリー写真を使用することはできません。
再現性がないため必ずスタイリストが作ったスタイル写真を使用してください。
※イメージ画像にAI画像/動画も含みます

つまり、サロンがホットペッパーに掲載しているAI画像はルール違反であることに違いはない。優良誤認を与えかねないリスクであり、そのスタイリストが手がけた素敵なスタイルとモデルさん、だと思っていた画像は、現実には存在しないAI画像なのかもしれない、という認識でいることが重要だ。

恐れるべきはAIではなく人間

これまで見てきたように、生成AIの登場とその進化によって、テキスト、画像、動画などのあらゆるコンテンツが日々、新たに生み出されている。中には、人を欺こうとするディープフェイクもまぎれている。しかし、慌てる必要はない。

メディアリテラシーの基本所作である「クリティカルシンキング（批判的思考）」で立ち向かえばいいだけだ。これまで論じてきたことと、なんら変わりはない。

2022.11.29

「クリティカルシンキング」の本質　誤情報に惑わされないための初歩

テーマ「メディアリテラシー」の2回目は、その中核を成す概念であり、メディアリテラシーを身につける初歩でもある「クリティカルシンキング（批判的思考）」について、本質や対訳のあり方も含め、深掘りしていきます。...

即座に信じることはしない。いったん立ち止まり、情報の出どころや内容の信ぴょう性を確認する――。そうした批判的思考の所作が、あなたを生成AIによる新たなリスクから守ることにつながる。

注意を払うべきは、世間を騒がせる愉快犯的なディープフェイクだけではない。目にする動画や画像、テキストなど、あらゆるメディアのあらゆるコンテンツに対して、「他人がつくった偽物かもしれない」と疑ってみることが肝要だ。

発信の向こう側には、だまそうという気持ちをもって拡散や表示をしようと企む人間が一定数いる。その意味では、コンテンツが生成AIによる創造物かどうかはあまり重要ではなく、それよりも、悪意がある輩の存在に気づけるかどうかのほうが大事と言える。

AIがAIの意思で偽物を生成し、発信しているわけではないのだ。