スウェーデン映画『Watch the Skies』がAI吹き替えで米国公開

スウェーデンのUFO映画 Watch the Skies は5月に米国各地の劇場で公開予定である。この映画は少し注目を集めているが、ある詳細が注目の的となっている。報道によると、映画が公開されると、視聴者はそれが英語で作られたものではないことに気づかないだろう。

報道によると、映画は、生成型人工知能（AI）を使用して英語に吹き替えられる予定である。この映画では、AIのおかげで、俳優のスクリーン上のパフォーマンスに一致する事前に録音された英語の対話が含まれる。製作者は、この映画にAI企業Flawlessの「ビジュアル・ダビング」技術が採用されていると述べた。この技術により、俳優のパフォーマンスを外国語の吹き替えに合わせてデジタルで唇の動きを同期させることができる。

Watch the SkiesはAIビジュアルダビングを採用

Watch the Skiesは、反発的なティーンエイジャーのデニスが、UFO観察者のクラブと組んで行方不明の父親の謎を解く物語を追う。この映画はもともとスウェーデンの俳優によってUFO Sweden.というタイトルで撮影された。しかし、米国での公開に際し、FlawlessはTrue Sync機械学習技術を使用して、彼らの唇の動きをデジタルで変更し、英語の対話と同期させた。キャストも英語でパフォーマンスを事前に録音し、完璧なものにした。

映画の監督・脚本家であるビクター・ダネールは、Flawlessが映画に与えた影響を称賛し、この映画がより広い観客に届くのに役立つと指摘した。「Flawlessとその技術により、はるかに大きな観客に向けて映画を公開できます」とダネールは語った。映画製作者は、この技術と手法の使用がSAG（全米俳優組合）の全面的な支援と承認を得ていると述べた。SAGは2023年、AIが俳優の職業に与える脅威を懸念してストライキを行った俳優組合である。

ダネールは、この技術が多くの俳優を恐怖させ、一般大衆から不満を買う可能性があるが、それはチームによって完全に制御されていると述べた。彼は、映画を英語に吹き替えることにしたと付け加え、それはまだ同じ映画であり、同じ俳優であり、異なる言語でのみ異なるのだと語った。「多くの映画製作者や俳優は最初はこの技術を恐れるでしょうが、私たちは創造的なコントロールを持っており、英語で映画を演じることは本当にエキサイティングな経験でした。それはまだ私たちの映画であり、俳優のパフォーマンスであり、それが鍵なのです」と彼は語った。

TrueSync技術と映画におけるAIへの不満

Flawlessの共同創業者スコット・マンは2023年のプレゼンテーションで、同社のTrueSync技術はディープラーニングを使用して、映画を通じて俳優の顔のボリューメトリック3D表現を作成すると述べた。その後、この技術は、吹き替えたい言語に合わせて彼らの顔を変更するために使用される。TrueSyncは2022年の映画Fallでも以前に使用されており、制作側はPG-13編集のために悪口を削除するためにこの技術を利用した。

同社はまた、俳優業界に利益をもたらす可能性のある他の製品にも関与しており、その製品の一つであるDeepEditorは、編集者が再撮影の必要なく、あるシーンから俳優のパフォーマンスを抽出して別のシーンに適用するために使用されている。同社はまた、配給元のXYZ Filmsと提携し、TrueSyncを使用してローカライズされた他の作品を公開した。これには、Run Lola Runの監督トム・ティクワーの今後の作品The Light,ホラー映画Vincent Must Die,、そして韓国映画Smugglers.が含まれる。

この機能は多くの人が受け入れているようだが、映画におけるAIの使用に対してより広範な不満が存在している。最近では、Netflixが先月公開したドキュメンタリーシリーズ「American Murder: Gabby Petito」で問題となった。プラットフォームは、シリーズが描いていた亡くなったキャラクターの声をAIで生成したことで批判を受けた。当時、亡くなった女性の両親でさえ、AIで生成された娘の声が聞こえるのは奇妙だと述べたが、シリーズの制作に同意したと明かした。