白黒映像の自動カラー化システムの開発

遠藤 伶さん(贈呈式にて)

　白黒映像自動カラー化システム開発グループ（NHK）は、従来大幅なコストを必要としていた白黒フィルムのカラー化を、AIを用いることでその精度と効率性、経費効果を格段に向上させ、個人・グループ部門［放送技術］を受賞した。代表の遠藤伶さんに、このシステムの開発、活用についてご寄稿いただいた。

１.はじめに

　白黒映像のカラー化は、有用な映像表現方法のひとつである。特に、古い白黒フィルム映像をカラー化して放送番組に利用すると、そのフィルムが撮影された当時の様子をより鮮明に視聴者に伝えることができるため、これまでも度々行われてきた。しかし、従来は白黒映像を1フレームずつ専門家が手作業で着色していたため、非常に多くの時間を必要とした。そこで、少ない作業時間で高品質な映像カラー化を可能にするため、AI技術を活用した白黒映像カラー化システムを開発した。

２.カラー化AIの試作とその課題

　AIを使った自動カラー化の基本的なアイデアは、大量の学習用カラー画像とディープラーニング技術を使って、学習用カラー画像に含まれる色のパターンを覚えたAIを作成することである。以下に述べる手順で、白黒画像を自動でカラー化可能な「静止画カラー化AI」を試作した。
　(1)学習用カラー画像として、NHKが放送した近年のカラー番組映像約2万本からおよそ800万枚のカラー静止画を切り出した。(2)学習用カラー画像を白黒画像に変換し、大量のカラー画像と白黒画像のペアを作成した。(3)作成した白黒画像を元のカラー画像に変換できるよう、ディープラーニング技術を用いてAIを訓練した。
　しかし、静止画カラー化AIを番組制作に利用するには、2つの大きな課題があった。第1の課題は、動画への適用においてフレーム毎の色ぶれが発生することである。この色ぶれは、カメラ移動などで画の映り方が変化した場合に、静止画カラー化AIが着色する色合いも変化してしまうことが原因で発生する。特に、古い白黒フィルムはノイズを多く含むため、カラー化により色ぶれが発生するケースが多く、これを抑制する手法が必要となる。第2の課題は、AIが事実と異なる色で着色してしまう「塗り間違い」への対応である。AIの塗り間違いは、洋服のような色のバリエーションが多い物体に対して、着色すべき色をAIが特定できないことが原因で発生する。カラー化した映像を放送番組で利用する場合、史実に基づく考証を行い、可能な限り正しいと思われる色で着色されている必要がある。そのため、AIが塗り間違えた場合に、それを簡単に修正できる仕組みが不可欠である。

３.開発システム

　開発したシステムは、複数のAIを組み合わせることで、前述した2つの課題を解決する。第１の課題である色ぶれを抑えるために、複数のフレームを同じ色合いで着色するための「カラー伝播AI」を新たに開発した。まず、静止画カラー化AIが自動で少数のフレームをカラー化する。続いて、カラー伝播AIがカラー化済みフレームの色を基準に、他の未着色フレームをカラー化する。この仕組みにより、シーンごとに色ぶれのない動画のカラー化が可能である。図1にカラー伝播AIによる色ぶれ防止効果の例を示す。第2の課題については、マウス・クリック数回程度の簡単な操作により、指定した物体のみの色を変更可能な「カラー修正AI」を新たに開発した。図2に示すように、カラー修正AIを使う事で、人間の肌の色はそのままで服の色だけを変更するなどの操作が短時間で行える。さらに、カラー修正AIで修正したフレームの色をカラー伝播AIで、他のフレームに伝播させることで、シーン全体の色も容易に修正できる。
　静止画カラー化AIおよび、カラー修正AI、カラー伝播AIの3つを組み合わせたシステム構成を図3に示す。はじめに映像全体を静止画カラー化AI全自動でカラー化する。そして、人間がカラー化結果に誤りがないかを確認する。誤りがあった場合は、シーンを構成するフレームの一部に対して、カラー修正AIで色を修正する。続いて、カラー伝播AIが修正されたフレームの色を参考に、近隣の他のフレームを自動で再カラー化する。
　このシステムにおいてAIが担当する作業は、人間が行うと非常に時間がかかる、全フレームを同じ色合いで着色する作業である。そして、人間が担当する作業は、現在のAIではまだ難しい、事実に基づく色で正確に着色する作業である。このような人間とAIの得意な部分を組み合わせる仕組みにより、カラー化映像の品質を維持しつつ、作業時間の短縮を実現した。

４.実証結果

　開発システムを放送番組制作で実際に利用したところ、人手で白黒フィルムのカラー化を行った際には約2250人日かかった作業が、約36人日で行えるようになり、約1/62の作業時間短縮を実現した。このシステムにより、番組制作者はより気軽にカラー化という表現方法を選択できるようになった。開発システムは『NHKスペシャル　～ノモンハン責任なき戦い～』（2018年8月15日放送）や『情報WAVEかごしま』（2019年2月27日放送）などで2018年度中に計10件のコンテンツで利用された。

５.おわりに

　白黒映像のカラー化は、従来は非常に多くの作業時間を必要とした。そこで、作業効率化のための、白黒映像の自動カラー化システムを開発した。開発したシステムは3つのAIを組み合わせることで、色ぶれのないカラー化映像の作成と、簡単な操作でのシーン全体の色修正を実現した。また、放送番組制作で実際に使用したところ作業時間が1/62に短縮されており、従来と比べて大幅に短い時間での映像カラー化を可能にした。
　今後は、カラー化AIが全自動で着色できる対象を増やすことで、さらなる効率化を実現し、誰でも簡単に映像カラー化を実現できる環境を整えたい。

プロフィール

遠藤 伶 さん （えんどう れい）
NHK放送技術研究所 スマートプロダクション研究部
2013年、慶應義塾大学大学院理工学研究科開放環境科学専攻博士課程修了。同年、NHKに入局。札幌局にてニュース送出業務等を経験後、2014年より放送技術研究所に異動。現在は画像解析技術の研究開発業務に従事。