休暇をとりミラノ国際博覧会に行ってきました。去年3331α Art Hack Dayで作った『書の更新』公演の機会をいただいたのです。

後楽園ではない

メンバーは書家の吉永氏・音楽家の國本氏・ハードウェアエンジニアの藤元氏・データサイエンティストの小副川氏・私の5人。現地のアパートに一週間合宿しました。公演は最後の三日間。それまでのんびり観光…とはいかず、カン詰めで開発です。せっかくなので内容をアップデートしようと打ち合わせていたのですが、皆忙しくここに至るまで肝心のプログラムが全然できていないのでした。

開発風景。ある程度できてきたので結合テスト＆筆圧キャリブレーション

公演日直前になんとかプログラム完成。会社の仕事にも追われ（インターネットって便利ですね…）、本当にぎりぎりまでかかってしまいました。少しだけ仮眠をとり、いよいよ会場へ搬入します。

深夜の万博会場。入り口から日本館まで約3キロを会期中なんども往復した

『書の更新』について簡単に説明すると、木製の筐体に透明アクリルの天板があり、その上に半紙を置いて書をかくと、圧力センサーとカメラにより筆跡・筆圧・書影等がリアルタイムに取得（記録）され、それを音楽と映像とに反映（再生）させる、という仕組みのパフォーマンス／インスタレーションです。

Art Hack Day以後じつは何度かパフォーマンスや展示をしてましたが、今回は筐体を改良してセンシングの精度を上げ、音楽・映像表現を改めた新バージョンで臨みます。書（入力）と表現（出力）との関連がわかりにくいとの意見を踏まえ、とくに映像は書影をそのまま表示するよう完全に作り直しました。

設営中。ステージを墨で汚さないよう巨大なブラックシートを敷く。ミラノは春らしい良い気候だったがこの夜は異常に冷え込んだ

書影そのものを表示する、という方針には書のサイズを一般的な半紙程度から1畳ほどの大作に変える、という前提も影響していました。大作独特のタッチ・迫力はにわかに翻訳できないため素直にそのまま出そうというわけです。しかし制作期間や現場の都合で大面積のセンシングは難しく、けっきょく実現しませんでした。小サイズの字も美しくはあるけれど、比較的おとなしい形でお手本みたいに見えてしまうのがちょっと残念（と、ボヤきたくなるくらい大作は迫力がある）。

作った映像プログラムは次のようなもの。Webカメラで取り込んだ書影を仮想空間上の紙に載せ、OSCによるセンシング情報でそれを変化させていきます。

筆跡や筆圧でエフェクトやタイムスケールが、転調や四季で色が変化したりする。半紙をセットしなおす際には盛大にノイズが乗る（書影の変化とみなされる）が、それはそれで生っぽさがあるのでそのままにした。なおfpsはノートPCで60をキープ。旧バージョンのほうが見た目シンプルだがずっと重い

実際のパフォーマンスは、日本館内のイベント広場という大きなスクリーン付きのステージで、時間割りで毎日昼と夜の2回ずつ行う段取り。我々の他にもさまざまなチームが参加しており、それぞれ職人技や伝統芸などを披露します（万博テーマの「食」関連多め）。

本番。書家の吉永氏は「春夏秋冬」をモチーフに、筐体上でのセンシングと大きな紙での大作（センシングなしの純粋な書）とを交互に書いていきます。吉永氏以外のメンバーはステージ脇やバックヤードで各担当プログラムを監視・制御していました。

ステージの様子。会場は日光をとりこむ設計のため昼の部ではスクリーンが若干不鮮明に。スクリーンだけに頼らない視覚演出も検討していたがその明るさのため断念した

バックヤードの國本氏。センシング信号から音楽を自動生成するのがもともとの特徴だったが、今回は手動で干渉することでヒトの生の感性も加えている。あえてステージ上で見せたほうがライブ感が出たかも

細かなトラブルはありつつも、パフォーマンスは無事成功。自分の担当については、ハッカソン再び状態で現地で一から作ったわりには、まあまあの成果かな？ ただ練りきらないまま要素を盛り込みすぎ、絵面が安っぽくなってしまったきらいがあります。もっとシンプルにすればと反省（極端なはなし音楽主体で演出としての映像は不要とも思う）。ともあれ多くのお客さんに楽しんでもらえたようで良かったです。観光する余裕もなく大変でしたが、貴重な経験ができました。楽しかった！

最終公演後、筐体の上でお客さんの名前を書いてプレゼント。実物の書だけでなく、映像もあとでダウンロードできるよう現場で急遽機能を追加した。ちなみに名前を書いてあげるのはどこの国でも好評らしく、たしかに止めないと列が切れないほどの人気だった。床に見えるのは大作のほうの書

追記：藤元氏がムービーを制作してくれたので掲載します