本件、研究テーマそのものは多くの可能性を秘めていますが、今回の展示にかぎっていえば正直地味なことは否めません。実写にエフェクト合成するKinectハックはすでに知られているし、ARもすっかり世間におなじみですから。それでもテレビやスポーツ中継の未来を表現し、またせめて一矢報いたいとの思いから、出目はできるだけ工夫しました。
テレビのスポーツ中継を模した画面作りをしていきます。まずデザインしてもらったいかにもなテロップ部品を画面にオーバーレイ表示します。ただそのままではきれいすぎてPCっぽいので、簡易的にアナログ風の色ズレを再現しました。RGBチャンネルに分けたテクスチャをずらして重ねただけ。原理的にはテロップだけ色ズレするのはおかしいですが、らしく見えればよいことにします。負荷との兼ね合いもありますが、本来ならフィルタとして実装するのが正解でしょう。
さらに画面全体にランダムに水平の同期ノイズが走るようにしました。これは画面のテクスチャを貼った横長ポリゴンを瞬間的に表示してるだけ。色ズレといい、いまどきアナログテレビでもないですが、未来の中継1.0ということで…。もっとも、ノイズは当初デジタルなブロックノイズとして実装していたものの、効果がいまいち(見づらく不快、かといって数や時間減らすとブロックノイズに見えない)だったので水平に形を変えたのでした。
そしてKinectカメラ映像ですが、画面比率がワイドテレビ(会場用ディスプレイ)の16:9に対して4:3しかなく、これを中央に表示すると左右が余ってしまいます。そこで左右にはカメラ映像をダブらせぼかして表示することにしました。HD放送でSD映像を流すときよく見られる手法です。
動的な演出としては、プレイヤーが力を込める(バーベルが大きく動く)ほど上記の色ズレやノイズが強くなるほか、プレイヤーが左右のバランスを崩したり体をねじったりと本来の重量挙げ動作からはずれた動きをすると提供テロップが表示されるようにしています。この逸脱行為に対する演出にはいろんなアイデアが出ていたものの、工数的な問題がありけっきょく単なるテクスチャ表示に転びました。
ほかに余裕があればやりたかったのは、インターレース表示とか放送基準のグレーディングとか。ちなみにテロップのセーフティゾーンはあえて無視してます。
本番会場では背後に「ニコリンピック」ロゴ入りの青い壁が設けられ、本物のバーベル(20kg)も用意されますますスポーツ中継気分が盛り上がりました。