研究概要
現実世界に電子的な情報を重畳する拡張現実感 (Augmented Reality; AR) や複合現実感 (Mixed Reality; MR) 技術は，人工現実感 (VR) の発展形であるが，実世界を対象とした「新しい情報提示技術」としての期待が大きい．学術的にはARとMRはほぼ同義語であるが，数年前からスマートホンで稼働する手軽な（ある種の）ARが広まって以来，MRは現実と仮想を対等に融合できる高度な技術として，期待する向きもある．
研究代表者（田村）は「複合現実感」の命名者で，これまで当該技術分野の先端研究開発を推進してきたが，これまで限られた対象や環境下でのみ威力を発揮してきた従来技術を強化し，豊かな表現力をもつMR空間を実現する技術基盤の構築を目指している．具体的には，次の2つの側面からアプローチすることで，世界的にも当該分野を先導・牽引する．
公開用資料はこちら
A:没入型映像&音像空間での高臨場感複合現実体験
「視覚的MR」と「聴覚的MR」を同時に達成する「2x2方式視聴覚併用MR」は，前々基盤研究(A)で達成した（図1）．爾来，これを実現できる世界でOnly Oneの研究チームとなっている．続く前基盤研究(A)で多数の超音波スピーカを用いる「音像プラネタリウム方式」を考案・試作し，3D音像定位を実現した．
本研究では，同方式の本格的展開のため，全天周型映像＆音像空間（図2）を構築する．この視聴覚併用MR空間を，X-Media Galaxy/Dome Type（略称：Xドーム）と呼んでいる．音響的には．音像定位位置の距離制御，残響感の向上，移動音の実現, 複数人同時体験等の諸問題に挑戦する．映像的には，ドーム壁面での背景映像表示とビデオシースルー型HMDによるMR表示併用の提示方式を採用する．前基盤研究(A)の末期に仮設ドームを導入したが，これを常設化し，日常的に利用可能とすることが，本研究の第一歩である．
詳細はこちら
B：複合現実感の要素技術開発と技術体系構築
B1：静的な隠背景を事前に取得し，体験時の環境に対応して利用するDR
視覚的DRの一般形は，何らかの方法で「隠背景 (Hidden Background)」の画像情報を取得し，物体の前面に重畳描画することと捉えることができる（図3）．DR体験は，VR体験・MR体験と同様，本質的に実時間対話型の利用形態であり，体験者がカメラ付きHMDを装着するか，同等のカメラ映像への実時間適応を前提としている．
SB-DV (Static Background & Dynamic Viewpoint) 型DRアプローチでは，実物体の隠背景が静的である（あるいは動物体は存在しても無視できる）状態である場合に，これを事前に系統的に取得して蓄積し，DR体験時に活用する．ただし，利用時の体験者の移動は自由であり，その視点移動や照明環境の変化にも耐え得る高精細なDRの実現手法開発を目標とする．そのために系統的なDR実験が可能な専用スタジオを設けることも本研究の目的の1つであり，DR手法の標準データセットを収集し，公開・配布することも計画している．
詳細はこちら
B：複合現実感の要素技術開発と技術体系構築
B2：動的に変化する隠背景情報を，体験時に実時間取得して利用するDR
背景に時々刻々変化する動的な実物体を含み，この状態で前面に存在する障害物を除去してライブ透視するDR利用形態を研究対象とする．万能の手法は難しいので，まず体験者（やカメラ）の視点は固定か，ほとんど移動しないDB-SV (Dynamic Background & (Semi-) Static Viewpoint) 型DRアプローチから始める．
壁や建物の背後にある状況を透視する利用法は「See-Through Vision」と呼ばれているが，これは本DB-SV型DRの一形態である．対象となる実世界の3次元構造を実時間で捉える技術が必要不可欠なので，隠背景が平面近似出来る場合が，移動物体の形状が変化しない場合から始め，徐々に精度面や画質面での向上を図るアプローチを採る．