「Journey to the sea by train その4」
今回は前回、予告した通り制作手順3.「映像合成実験（UE4の背景をリアリティエンジンで実写と合成）」の詳細を書いていこうと思います。
（今回の話の結果を受けて制作手順4.以降の話へ繋がりますので、今回はそのあたりの話も込みで書いていきます。）
制作手順のおさらい
- 電車の移動ルートに合わせて背景データの作成制作
- 電車の移動に合わせて背景を動かす仕組みを作成
- 映像合成実験（UE4の背景をリアリティエンジンで実写と合成）←今回はここから下の部分の詳細です
- 問題点の洗い出し（各背景データのスケールのズレ、地表面の高さのズレ、背景の読み込み速度の遅延が遅いなど）
- 背景データの軽減化などの作業（問題点の修正）
- 3から5を繰り返してクオリティを高める
- 最終的に編集して音声と合成
3. 映像合成実験（UE4の背景をリアリティエンジンで実写と合成）
今回の映像合成実験は、制作手順1.と2.の内容を組み合わせて映像合成する実験を行い、背景の合成上で実際の人物とCG背景との整合性を調査し、ズレ等の問題点（制作手順4.）を洗い出す目的で行いました。
4. 問題点の洗い出し
手順3.で実際に合成した際には以下のような問題点が浮かび上がりました。
- 人物と背景のスケール感が合っていない場所がある
- 電車の窓からの見える「流れる背景」の速度感が、実体験の速度（実際に電車に乗った時に窓から見える背景の流れる速度）とかけ離れている
- 背景の密度に応じて処理が重くなる箇所があり、背景が流れるスピード感が足りない
5. 背景データの軽減化などの作業（問題点の修正）
手順4.で出た問題点の修正を行っていきます。
問題点1：人物と背景のスケール感が合っていない場所がある
＜問題点1.の解決案＞ 実際の地面の高さとCG背景の地面の高さとスケールが合っていなかった為、まずはその辺りを修正して、地面のスケールに合わせて、それらを元に建物や配置物などそれぞれのスケールを合わせる方向で修正。
問題点2：電車の窓から見える「流れる背景」の速度感が、実体験の速度とかけ離れている
＜問題点2.の解決案＞ 各所のスケールのズレを解消することで移動速度も合ってくるはずなので、まずはそれを調整後に確認。スケール調整後もズレがある場合は、配置物の間隔等が現実世界のルールとは異なるスケールになっているので、線路のカーブの回転半径や道幅に合わせた建物の配置等を現実世界のルールに即したスケールに修正する。
問題点3：背景の密度に応じて処理が重くなる箇所があり、背景が流れるスピード感が足りない
＜問題点3.の解決案＞ 背景描画時、奥行き方向に対して配置物が多いと処理が重くなる（実際には見えないが、建物の向こうに小さな建物を配置されていたりする場合など）。また、半透明処理が苦手なので、遠景のビル群の各窓の半透明の透過処理が重なると処理がどんどん重くなって画面がカクつくので、それらを整理して必要のないオブジェクトを削除したり、半透明処理を切ったりして、データの軽量化を行う。
6. 手順3.から5.を繰り返してクオリティを高める
手順5.の修正を行ったあと、再度、映像合成実験（手順3.）を行い、修正箇所の確認、新たな問題の発見、問題解決を繰り返してクオリティーを高めていきます。
今回の映像実験には、内々で制作期限として「1ヶ月」で目処をつけるという目標がありましたので、可能な限り、手順3.から5.を繰り返して調整を行っていきました。
以下は、撮影日の直前の段階の撮影風景になります。
これまで紹介してきた制作手順を経て今回の映像実験が行われました。最終的に作成された映像は、第2回映像実験「Journey to the sea by train（その1）」の記事にあるとおりになります。
第2回映像実験「Journey to the sea by train」に関する記事は、今回が最後になります。
今後も、このような映像実験を行っていきますので興味のある方は、弊社のYouTubeチャンネル共々ご贔屓にしていただけたらと思います。