XRスタジオの仕組み
XRスタジオと言っていますが、その実体はインカメラVR、AR、実写合成の組合せです。
ヘッドマウントディスプレイ（HMD）を装着すると、自分の視界いっぱいに3DCGが広がり、頭を動かすとその位置に応じて360度空間を見回せる、というのが世間一般にいわれるVRだと思いますが、
インカメラVRというのは、その自分の頭や目が、ビデオカメラに置き換わったようなものです。ビデオカメラが撮影したものは2Dのディスプレイに表示されるので、厳密には空間体験とは別のものといえます。
こちらの写真をご覧ください。
緑の床がスタジオ、鞄を持った女性が演者とします。
そして女性の背後には家、手前には猫を3DCGで配置して、リアルタイム合成したいとします。
つまり完成映像はこのような感じです。
実際にはカメラを動かすと手前の猫や背後の家のCGも連動して動きます。
これは前回お話しした、バーチャル空間のカメラが、カメラトラッカーを使用することで、スタジオの実物のカメラとマッチングしているからです。
そして結論から先に申し上げると、手前の猫がAR、背景の家がインカメラVRに相当します。
実写の後ろにCGが回り込む場合には、マスクを作る必要があるため、クロマキーなどが使われます。
そしてクロマキーはビデオ信号に対して行われるため、被写体を基準とした前後関係が生じてしまうことに注目してください。
つまり、カメラの情報をもとにCGをリアルタイムレンダリングしているところまでは3D空間の出来事なのですが、 それ以降のプロセスは完全に2Dの3レイヤー合成なのです。
したがって、例えば被写体の前面にいる猫を被写体の後ろに移動したい場合、XRシステムのオペレーターが、猫を描画するレイヤーをVR側に変更しない限りは前後関係が破綻してしまうことになります。
光学式カメラトラッキング
平和島XRスタジオは、光学式のカメラトラッカーを採用しています。
カメラトラッカーとは、カメラを追跡（トラック）する機材のことで、スタジオカメラの空間位置を捉えるために必要になります。
空間位置を捉えられると何が良いかというと、カメラの動きをデータとしてバーチャルの世界に持ち込めます。
3DCGで作られたバーチャル空間の仮想カメラが撮る画と、スタジオ内の実物カメラが撮る画を可能な限り近づけるのが目標になります。
これがセンサーの筒を上部から見た写真です。
筒の周囲には赤外線を出すLEDが付いており、筒の中心は広角の赤外線カメラになります。
スタジオの天井には反射マーカーが貼られているので、自分の出した光を自分で撮影してカメラの空間位置を推定できます。
厳密に言うと、カメラトラッカーは自身の位置をトラッキングした結果を返すため、そこから基準値を移動・回転させて実際のカメラのセンサー位置に重なるように調整をします。
平和島ＸＲスタジオとアークベルＸＲ課について
ご無沙汰しております。
まる１年間の運用を経て、自社スタジオがリニューアルしました。
俟たれていた３面Ｒ造成工事を行い、スタジオを斜め使いできるようになったことは大きいです。照明も再調整して、よりフラットなホリゾント空間になっています。
スタジオのグリーンバック化とともに運用が始まったZeroDensity社のRealityシステムですが、こちらも１年という時間が経つことで、ようやっと自分たちの道具として基本的な運用ができるようになってきました。
Realityは、3DCGの表示にUnrealEngineというゲーム制作用のプラットフォームを使うのですが、これについては本当に、得たいものの姿をかなり具体的に決め込まないと、どこまで学んでも終わりがなく、みるみる時間が溶けていきます。
さらに、そのプラットフォーム上で使う3DCGモデル自体はUnrealEngineで作るわけではありませんから、イベントで使用する企業ロゴ等については都合、3DCGツールでモデリング他を内製する必要があり、綿密なスケジュール管理が求められます。
ゆえにクライアント自身について、そのような土台の上でイベントを実施しているという、ある程度の理解協力もそうですが、全体を俯瞰できる、3DCG界隈に知見のあるアートディレクターの重要性もまた、しみじみ感じているところです。
表題のとおり、スタジオについては正式に「平和島ＸＲスタジオ」を名乗ることに致しました。
Ｒ造成が終わり、Realityの強力なキーヤーと組み合わせて使用することが必須ではなくなりました。ライブ配信用に専用線ネットワークも配備し、施設のみのレンタル（箱貸し）でも十分な価値がご提供できると考えました。
独立したウェブサイトもございます。
コロナ禍にあってイベント市場は縮小し、当社でも撮影レンタルやイベントレンタルといった区分こそ残っていますが、その実、中のスタッフは流動的になっており、その変化の中心としてバーチャルライブ配信があったと思います。
これまで直接関与することのなかった3DCGや3Dセンシングについても、昨年、試行錯誤しながらもRealityを動かしていたスタッフが中心となって知見を蓄え、XR技術開発課（XR課）が発足するに至りました。こちらのブログも当課が更新していきたいと思っております。
今期もアークベルをよろしくお願いいたします。
バーチャルスタジオの運用を開始しました
アークベルは、2020年を迎えるにあたり自社スタジオのリニューアルを
模索している中、バーチャルスタジオシステムを有する、実績ある国内の撮影
技術企業と業務提携を行いました。
スタジオは壁面3面をデジタルグリーンに塗装し、天井にはカメラ
トラッキング用マーカーをスタジオ内の全エリアを網羅して設置。
Zero Density社 RealityとSTYPE社 RedSpyによるハイエンドの3D
バーチャルスタジオシステム*を稼働させました。
*Zero Density 社、NAB 2019 にて業界史上初となるレイトレーシング対応バーチャルスタジオソリューションを披露
[https://www.ask-media.jp/news-zerodensity/1407-zero-density-nab-2019.html]
このシステムにより、旧来の平面的クロマキースタジオと比して、立体的で
自由なカメラワークが行えるバーチャルステージを使ったMixed Reality
収録や配信が可能になります。
幕を垂らした簡易的スタイルではなく、塗装によるこの規模のクロマキー専用
スタジオは、都内においても希少なロケーションとなります。
2月にはWEB配信用ドラマのVFX撮影や、上記システムの国内輸入元・代理店の
アスク株式会社／ナックイメージテクノロジー様共同の内覧会も、さっそく当社
スタジオ内にて実施され、ご来場のお客様から好評をいただきました。
当社スタジオで『Notch Lab』イベントが実施されました
去る3月17日（日） 当社スタジオを会場に「Notch Lab」イベントが行われました。
Peatix: Notch Lab [https://notchlab.peatix.com/?lang=ja]
今回はイベントの概要と使用された機材についてレポートします。
主催は「Tokyo Developer’ｓ Study Weekend（TDSW）」さん。
「TouchDesigner Study Weekend」という名前で、ノードベースのビジュアルプログラミングツールとして有名な「TouchDesigner」ソフトウェアのワークショップを企画・運営されている方々です。
最近では、今回の主題となる「Notch」というツールを始め、TouchDesigner と一緒に使われることが多いその他ソフトウェアやシステムまで守備範囲を広げており、改名されたそうです。
講師は「津久井勝也」さん。
VFX・ポストプロの会社に勤務されている方ですが、撮影・映像技術では多方面に情報の感度が高く、前述のTouchDesignerやNotchなど、ジェネラティブ系コンテンツに使用されるツールについても精通しています。
「Notch」とは、主にライブ・イベント向けに開発されている、リアルタイム3Dモーショングラフィックスの開発・プレイバックシステムです。
Notch [https://www.notch.one/]
ビジュアルの開発は「Notch Builder」というノードベースのプログラミングツールで行い、現場でのプレイバックは「Disguise」や「Hippotizer」といったパワフルなメディアサーバー上で「Notch Playback」という再生用プラグラムを使用して行います。
とは言いますが、NotchはGPUに対して非常に能率が良いソフトウェアなので、Notch Builderと市販のゲーミングPCとの組み合わせであっても、他のツールではスペック上実現が難しかったリッチなジェネラティブ作品ができてしまうのが魅力です。
また、上記のようなメディアサーバーは大変高価なため、相応の予算のあるイベント向けに利用されるソフトウェアだったのですが、近く予定されているTouchDesignerのアップデートにより、TouchDesignerのプロライセンスがあれば、インストールされたPCをメディアサーバーとして代用できるようです。（その場合もNotch Playbackライセンスは必要です）
さて今回「Notch Lab」と銘打って行おうとしているのは、Notchとそれ以外の高価な機材たちを連携させた、高度なARステージ演出になります。
目標はシンプルに、この動画のパフォーマンスを再現すること。
Live Stage Augmented Reality [https://vimeo.com/201299823]
今回その実現のために、株式会社ナックイメージテクノロジー様とアークベンチャーズ株式会社様にご協力いただきました。スタジオに持ち込まれた機材は――
ARRI ALEXA Plus + Ncam
ALEXAカメラの下にリグ組みされた2台一組の広角カメラがあります。これが「Ncam」システムのカメラです。このレンズが捉えた広範囲の視差映像から3D空間上の特徴点がNcamサーバーで自動的にマッピングされます。マップは Motion Builderに入力されています。ARRI Alura 15.5-45 シネズームレンズのギアにもNcamシステム用のエンコーダーが接続されており、レンズとのキャリブレーションを行っておくことで、撮影中の画角だけでなくDOF情報に至るまで3DCG内のキャラクターと確実にマッチングできます。
Black Trax
複数のセンサーカメラ（今回はスタジオ前面2、背面3の計5つ）で空間を設定し、その範囲内で動くビーコンの情報を3D空間上の点として変換できます。専用のビーコンは2股に分かれており、空間座標だけでなく軸回転まで取得できます。
Disguise gx2
メディアサーバーです。今回は事前に用意したビデオのプロジェクションマッピングではなく、プリインストールされた「Notch Playback」でジェネラティブコンテンツを描画していきます。そのため強力なGPUを搭載したラインの最上位機種「gx2」サーバーが持ち込まれました。今回使用しませんでしたが、Disguiseは専用ソフトウェアも優れており、複雑なプロジェクションマッピングや照明システムのシミュレーションを簡単に行うことができます。
ざっくり仕組み
Notchで作成したジェネラティブコンテンツの任意のパラメータを、Black Traxで取得した空間座標に紐づけます。これにより、ダンサーの手中のBlack TraxのビーコンにNotchで生成されたパーティクルが追従します。
また、シンプルな板の3つ角にビーコンを固定することで、板の動きを3Dトラッキングできるので、自在に動く板の中にプロジェクションマッピングを行うことができます。
さらに、通常プロジェクションマッピングの想定ビューポイントは動きませんが、カメラをビューポイントに設定しつつ、Ncamシステムが取得したレンズの情報と連動させることで、カメラが自由に動いても常に3Dマッピングの最適なビューポイントが維持されます。（スタジオ上のARを実現）
準備段階で重大な問題が発覚
メーカーによると、参考動画で使用されていたNotchはテストのためにビルドされた特別なバージョンらしく、ひどく不安定なため現在ベータ版としても実装はされていないとのこと。
そのため、Ncamシステムとの連携は、11月のリリース予定を待つことに……
ワークショップ
Notchの簡単なレクチャー、各機材のプレゼンテーションとデモが行われた後は、数人ずつのグループに分かれて、Notchで簡単なコンテンツを作成しました。幾つかの作品をDisguise サーバーに転送。2万ルーメンの大型プロジェクターでスタジオ壁面に出力されたジェネラティブコンテンツをBlack Traxビーコンで操るという遊びが行われました！
当日のトラブルも
システムのキャリブレーション時には予想しなかったトラブルとして、Black Traxセンサーをスタジオ常設のトラスに設置したため、同じくトラスに吊られた大型プロジェクターの微振動の影響を受けてしまい、本来のトラッキング精度が発揮できませんでした。
激しくビーコンを動かしたときなど、トラッキングが外れたときの座標の暴れがパーティクルのド派手な演出に繋がったり、正直笑いましたが、機材検証としてはちょっと残念だったり。
次回は11月のアップデート後を予定
今回はNcamシステムとの連携が行えなかったため、目標としていたパフォーマンスの再現には至りませんでしたが、条件が揃ったタイミングで再び挑戦したいという意識のもとで解散となりました。
TouchDesigner Study Weekend Hackathon in arkbell
企画制作部狩野です。
2018年10月13日 (土) 当社スタジオにて、
前回に引き続き、TouchDesigner Study Weekend Hackathon がアークベルのTRC本社にて行なわれました。
講師で主催のTouchDesigner Study Weekend 鳴海さん、小原さん、副島さんと、また一般の参加者の方とアークベルからも合わせて15名程度、今回は3チームに分かれて、 一日でとにかく何かを作ろう！ということでさっそく制作開始です。
まずはアイデアソン、個人で作るもののアイデアを出していきます。
それが終わったらグループに分かれ、アイデアの共有を行ないました。
チームで開発開始。プロジェクターやスピーカーで実際にスタジオの壁に投影しながら、キネクト、ドローンやMIDIコンなど様々なデバイスを使って制作をしていきます。
チームによる開発の風景。 学生・デザイナー・パフォーマーなど参加者のバックグラウンドが様々なのがTouchDesignerユーザーの特徴です。
女子率も高い!
いよいよ発表会、それぞれインタラクティブな作品ができあがりました。
①人が横切るとカーテンがなびいて奥の木が育つコンテンツ
②カーテンが開いてぼんやりと自分が写り込むコンテンツ
③ドローンを使って顔認識をし、顔の周りにポップなエフェクトがでるコンテンツ。
ドローンとの連携やインタラクティブなアニメーションはもちろん、風の音のような環境のサウンドもTouchDesignerで制作、中々凝っています。
制作開始から5～6時間という短い時間で企画・設計から完成までもっていくことができました。
やはりこの早さはTouchDesignerの強みのひとつです。
参加者の職業、性別、またTouchDesignerの習熟度も様々でしたが、とてもおもしろい内容でした。
最後まで読んでいただきありがとうございます。また引き続きレポートしていきます！
ワークショップ開催 ～TouchDesigner Study Weekend for Kinect～
企画制作部狩野です。
2018年6月23日 (土) 当社スタジオにて、
TouchDesigner Study Weekend for Kinect と題したワークショップが行われました。
青山学院大の鳴海さん、小原さんチームが講師で主催され、
キネクトを使ったプログラミングから、プロジェクターを使った実際の投影まで行いました。
Touch Designer（タッチデザイナー）は、一言でいうとプログラム言語のひとつなのですが、
コードを書くプログラミングとは違い、ノード式と呼ばれるビジュアルプログラミングです。
その使いやすさ、処理速度の速さから現在様々なところで使われています。
映像関係でもプロジェクターの制御からインタラクティブな表現まで幅広く使われてます。
・プロジェクター50台制御の例
＊＊＊
座学によるレクチャー形式というよりも、とにかくキネクトで何か作ろう！
というわけで一般からの参加者20名を4つの班に分けて制作開始。
自分も含め集まった方々は年齢性別職業問わず色々な方が参加されていました。当然TouchDesignerの習熟度も様々。
しかしそこはさすがクリエーターの方々、協力しながらわずか3時間でインタラクティブな作品を作り上げました。
こんな素敵な作品が出来上がりました。
1.Kinectから傘などの輪郭を検出して
雨のグラフィックがアニメーションする作品
2.ツイッターのトレンドのハッシュタグを取得し、
そのワードをKINECTの三次元情報に変換して手の動きに追随。
（さすがに実装まではしてません）
同時に左手のアクションでコンテンツが切り替わる作品。
3.人の輪郭を検出しパーティクルを生成、
手を叩くとテキストが表示される。
4.みんなで力をためることによって
ドラゴン○ールの元気玉が生まれる作品。
アークベルのもつ機材とスペースで新たなシナジーが生まれたかなと思いますので、
今後もこういったコラボはレポートしていきます。
