立命館大学
情報理工学部
実世界情報コース

Gr.2:複合現実感/隠消現実感の基幹技術と新規応用開拓,ドローン関連映像技術

【タイムラインMR:MR & DRの発展形】

・タイムラインMRとは?

 時系列複合現実感 (Timeline Mixed Reality) は,複合現実感 (Mixed Reality) 技術の発展形であり,現実世界の同一地点の時間軸上の変化を融合表示する技術である.MRは「現実と仮想の実時間融合」であるが,タイムラインMRは「時間差のあるリアルとリアルの融合」である.
このタイムラインMRは,当研究室が提唱する新概念であり,建築・都市計画・防災・教育など様々な分野で活用することを目指している.

タイムラインMRのイメージ
災害発生時のタイムラインMRの活用事例

・基幹要素技術

 (A) 時間軸を考慮した実世界光景の効率的な蓄積・管理
仮想空間内での事物が,時間軸まで考慮して,すべてCGデータ化されているのであれば,その時空間内をいかようにも移動してタイムラインMRすることができるが,現実世界のあらゆる物体を詳細に幾何モデル化することは困難であるので,用途・目的に応じて,現実世界を観測しておく必要がある.未来のある時点で,過去の景観が必要となるなら,長い時間をかけて系統的に景観データを蓄積しておく必要がある.撮影機材や日照条件が異なる画像群を,(B)でのタイムラインMR表示に適した中間形式に変換しておくことも必要となる.

同一建築物の工事期間中の異なる日時での撮影

 (B) 現在と過去の実時間の効果的な融合表示
時間軸の複数の現実世界をいかに効果的かつ魅力的な見せ方をするかは,まだ全く試みられていない着眼点であり,これ自体が新たな研究テーマである.PCの画面上で観るのではなく,屋外の現実世界に出て,その場でタイムラインMRを実体験するには,そうしたシステムの開発やタイムラインMR操作方法の考案も研究対象である.

 (C) 屋外でのMR体験システム
本研究室では、タイムラインMRを実際に屋外で体験可能なシステムの研究を行っている。現在は初めの段階として、大学のキャンパス内で体験可能なシステムを設計した。このシステムでは、キャンパス内の3Dモデルを用いることによって空間的整合性の正しい位置に仮想オブジェクトを設置している。

実装動画

【MR新規応用開拓】

・現実仮想両空間での運動状態の伝達

 MRには現実空間と仮想空間が存在し,それぞれに実物体と仮想物体が存在する.仮想物体は現実空間には存在しないため,実物体が仮想物体に影響を及ぼす,またその逆で仮想物体が実物体に影響を及ぼすことはできない.この現象を起こすためにはセンサを使用して実物体の動きをセンシングし仮想物体に伝える,アクチュエータを用いて仮想物体の動きを実物体に伝えることが必要である.
本研究では,現実から仮想に伝える,また仮想から現実に伝える現象を整理し,それぞれの項目ごとに伝達させるためのハードウェアとソフトウェアを提案した.具体的には伝達するのに使用するセンサとアクチュエータをArduinoを用いて制御し,現実・仮想空間での現象の変化を伝達できるよう実装を行った.

使用したセンサ
配置した様子
作成したハードウェア
実装動画

・現実仮想両空間での状態変化の伝達

 本研究では,上記研究をエデュテイメントの分野に絞って発展させ,完成度を上げることを目的とする. エデュテイメントの分野において,現実空間と仮想空間の間で伝達する情報として物体の運動量を使用するのは,適切ではないことがある. なので,エデュテイメント用に適切な伝達項目として,状態変化を伝達することとした. 本研究での状謡変化の伝達とは,エデュテイメントの分野で利用されやすいように,ON や OFF といった情報を伝達している.具体的な情報としては,倒れた・回転した・移動したなどの物体の状態が変化したことを伝える. また,本研究では, LEGO?社が販売しているマインドストームを使用し実装した. マインドストームとは,センサやモータといったパーツを組み合わせてロボットや対話システムを作成することのできるキットである.

使用したセンサ
配置した様子
作成したハードウェア

実装動画

【ドローン関連映像技術】

・ドローン向け位置合わせ機構の開発

 当研究室ではドローン向け位置合わせ機構の開発を行っている.これは後述のドローン映像の高度利用を目的としている.これを実現するためには現在のドローンに搭載されているGPSや加速度センサをはじめとする計測機器のみを用いた位置姿勢の推定では精度が不十分であり、他の手法が必要となる. 本研究では計測機器からの情報と設置したマーカの認識を組み合わせて位置姿勢の推定を行う.マーカ認識手法として単独マーカ方式,複合マーカ方式,呼応型マーカ方式の3つの方式を提案しており,現在は主に単独マーカ方式による位置姿勢推定に取り組んでいる.

提案している3つのマーカ方式

・ドローン映像の高度利用

 当研究室ではドローン映像の高度利用の一つとして同一地点における過去の映像と現在の映像の重ね合わせを提案している. これを実現することによって災害や土地開発による地形変化を把握し,その影響について考察するといったことも可能になるのではないかと考えられる.

現在の映像
過去の映像
重ね合わせのイメージ

【多層透視型映像体験システム】

・3Dモデル内での自由な移動,あらゆる場所での透過を目的としたシステムの導入

当研究室では,現実空間から物体を視覚的に隠蔽・消去・透過する技術である隠消現実感 (DR) の研究を行っている.DRの研究の中で,半隠消表示 (Half‐DR) という,DRは物体を消すことが目的だが,完全には消さず,意図的に残すことによって半透明にする技術がある.このあえて透明化する,透過させてみせるという表現を利用し,建物などがいくつも連なり多層構造になっており,目の前の建物の奥が観測できない状況においても,建物を透過させ,奥の光景を観測可能にする多層透視型映像体験システムを設計した.
設計にあたり,本システムでは2つの利用モードを考案した.1つめは,観測位置が固定で,視線方向に存在する層を透明化し,奥に存在する不可視層を次々と透視し,奥の層を望遠観測する多層シースルー・モードである.2つめは,体験者に移動感覚を与え,視線方向に存在する層の先に観測点を移動し,奥の層を観測するムーブスルー・モードである.両モードにより,3Dモデル内での自由な移動,あらゆる場所での透過可能なシステムの実現を目指した.

多層シースルー・モード
ムーブスルー・モード
2つの利用モード
多層シースルー・モード
ムーブスルー・モード
紹介動画

【MR要素技術研究】

・透明物体の視覚的不整合の緩和

実物の透明物体は,物体の表面,反射像,屈折像の奥行きが異なる注視対象を持っており,注視する像によって目の状態が変わり,見え方が異なる.
ビデオ透過型,光学透過型,両方を含むMR用ヘッドマウントディスプレイで透明物体を表現する際,2つの問題から視覚的な不整合が発生する.まず1つめが,目の水晶体の焦点調節に対応する奥行き表現が困難であるため,ボケによる注視対象の奥行きの違いを表現できないことである.2つめは,透明物体の計算には,高い計算コストが必要である理由から,注視対象の奥行きの違いによる視差を表現していないことである.
本研究では,それらの視覚特性を疑似的に再現し,実物と仮想の透明物体の不整合を緩和する.具体的には,観測者の目の状態を基に,画像処理などを用いて,奥行きの違いによるボケを再現し,また独自のアルゴリズムにより低コストで視差を再現する.

詳細はこちら

左目用
右目用
視覚効果を考慮して透明物体を表現
上段:透明物体の表面を観測した際のレンダリング結果
下段:透明物体の屈折像を観測した際のレンダリング結果
紹介動画