Research

Gr.2：複合現実感／隠消現実感の基幹技術と新規応用開拓，ドローン関連映像技術

【タイムラインMR：MR & DRの発展形】

・タイムラインMRとは？

時系列複合現実感 (Timeline Mixed Reality) は，複合現実感 (Mixed Reality) 技術の発展形であり，現実世界の同一地点の時間軸上の変化を融合表示する技術です．MRの「現実と仮想の実時間融合」に対して，タイムラインMRは「時間差のあるリアルとリアルの融合」です．
このタイムラインMRは，当研究室が提唱する新概念であり，建築・都市計画・防災・教育など様々な分野で活用することを目指しています．

・基幹要素技術

(A) 時間軸を考慮した実世界光景の効率的な蓄積・管理
仮想空間内での事物が，時間軸まで考慮して，すべてCGデータ化されているのであれば，その時空間内をいかようにも移動してタイムラインMRすることができますが，現実世界のあらゆる物体を詳細に幾何モデル化することは困難であるので，用途・目的に応じて，現実世界を観測しておく必要があります．未来のある時点で，過去の景観が必要となるなら，長い時間をかけて系統的に景観データを蓄積しておく必要があります．撮影機材や日照条件が異なる画像群を，(B)でのタイムラインMR表示に適した中間形式に変換しておくことも必要です．

同一建築物の工事期間中の異なる日時での撮影

(B) 現在と過去の実時間の効果的な融合表示
時間軸の複数の現実世界をいかに効果的かつ魅力的な見せ方をするかは，まだ全く試みられていない着眼点であり，これ自体が新たな研究テーマです．PCの画面上で観るのではなく，屋外の現実世界に出て，その場でタイムラインMRを実体験するには，そうしたシステムの開発やタイムラインMR操作方法の考案も研究対象となっています．

(C)屋外でのMR体験システム
本研究室では．タイムラインMRを実際に屋外で体験可能なシステムの研究を行っています．現在は初めの段階として，大学のキャンパス内で体験可能なシステムを設計しました．このシステムでは，キャンパス内の3Dモデルを用いることによって空間的整合性の正しい位置に仮想オブジェクトを設置しています．

【MR新規応用開拓】

・RV-XoverKit について

シミュレーションを行う際，仮想物体によるシミュレーション結果だけでなく，現実空間で物体が実際にどのように動くかを見たいというニーズが存在します．その場合，一部を仮想，実際に現実空間での物体の挙動を確認したい部分を現実で作ることになりますが，その際に現実と仮想の両方を繋ぐものが必要です．そのために，わが研究室では RV-XoverKit というツールキットを開発しました．RV-XoverKit には実際の運動や力を正確に伝達する RV-TransitionKit と，簡略化された運動や力を伝える RV-MessengerKit の 2 種類が存在しています．

・RV-TransitionKit について

RV-TransitionKit では，物体の運動や動的現象などの力学的状態が現実と仮想の間でそのまま引き継がれたかのように見える伝達を行います．現実から仮想に伝える，また仮想から現実に伝える現象を整理し，それぞれの項目ごとに伝達させるためのハードウェアとソフトウェアを開発しました．具体的には伝達するのに使用するセンサとアクチュエータを Arduinoを用いて制御し，現実・仮想空間での現象の変化を伝達できるよう実装を行いました．

・RV-MessengerKit について

RV-MessengerKit は RV-TransitionKit をエデュテインメント分野に絞って発展させ，完成度を上げることを目的として作成されました．主に実物体や動的現象を非線形変換，幾何学的変形，記号化，数値化等々を行なって得た状態変化を伝達します．具体的な情報としては，エデュテインメント分野で利用されやすいよう，倒れた・回転した・移動したなどの簡略化されたものになります．本研究では，LEGOⓇ社が販売していたマインドストームを使用し実装しました．マインドストームとは，センサやモータといったパーツと付随のレゴブロックを使用し，ロボットや対話システムを作成することができるキットです．

【ドローン関連映像技術】

・ドローン向け位置合わせ機構の開発

当研究室ではドローン向け位置合わせ機構の開発を行っています．これは後述のドローン映像の高度利用を目的としています．これを実現するためには現在のドローンに搭載されているGPSや加速度センサをはじめとする計測機器のみを用いた位置姿勢の推定では精度が不十分であり，他の手法が必要です． 本研究では計測機器からの情報と設置したマーカの認識を組み合わせて位置姿勢の推定を行います．マーカ認識手法として単独マーカ方式，複合マーカ方式，呼応型マーカ方式の3つの方式を提案しており，現在は主に単独マーカ方式による位置姿勢推定に取り組んでいます．

・ドローン映像の高度利用

当研究室ではドローン映像の高度利用の一つとして同一地点における過去の映像と現在の映像の重ね合わせを提案しています． これを実現することによって災害や土地開発による地形変化を把握し，その影響について考察するといったことも可能になるのではないかと考えられます．