タイムラインMR：MR & DRの発展形

タイムラインMRとは？

時系列複合現実感 (Timeline Mixed Reality) は，複合現実感 (Mixed Reality) 技術の発展形であり，現実世界の同一地点の時間軸上の変化を融合表示する技術です．MRは「現実と仮想の実時間融合」ですが，タイムラインMRは「時間差のあるリアルとリアルの融合」です．このタイムラインMRは，当研究室が提唱する新概念であり，建築・都市計画・防災・教育など様々な分野で活用することを目指しています．

タイムラインMR：基幹要素技術

時間軸を考慮した実世界光景の効率的な蓄積・管理

仮想空間内での事物が，時間軸まで考慮して，すべてCGデータ化されているのであれば，その時空間内をいかようにも移動してタイムラインMRすることができますが，現実世界のあらゆる物体を詳細に幾何モデル化することは困難であるため用途・目的に応じて，現実世界を観測しておく必要があります．未来のある時点で，過去の景観が必要となる場合に，長い時間をかけて系統的に景観データを蓄積しておく必要があります．撮影機材や日照条件が異なる画像群を現在と過去の実時間の効果的な融合表示でのタイムラインMR表示に適した中間形式に変換しておくことも必要です．

屋外でのMR体験システム

本研究室では，タイムラインMRを実際に屋外で体験可能なシステムの研究を行っています．初めの段階として，大学のキャンパス内で体験可能なシステムを設計しました．このシステムでは，キャンパス内の3Dモデルを用いることによって幾何学的整合性の正しい位置に仮想オブジェクトを設置しています．現在は，動画を用いるものについて研究を行っており，過去データの撮影時のカメラパラメータ（位置，方位角，俯角，視野角）を利用して幾何学的整合性の正しい位置に動画を配置しています．また，撮影時のカメラの位置姿勢，体験者の位置姿勢を考慮したシステムの開発に取り組んでいます．

遠隔体験型タイムラインMR体験システム

本研究室では，体験者の眼前の光景ではなく遠隔地に設置された定点カメラやドローンなどで取得したリアルタイムの映像を用いたタイムラインMRについても研究しています．本形式は，タイムラインMRの基本形とは異なるため遠隔体験型タイムラインMRと定義しています．遠隔体験型タイムラインMRでは取得した遠隔地の映像をインターネット経由で体験者のタブレット端末やHMDなどに配信し，タイムラインスポットに対して体験者が選んだ過去の光景に置き換えることができるようなシステムの実現を目標としています．これまでに使用する映像を定点カメラからの映像に限定し，タブレット端末とHMD上で一連の体験ができるプロトタイプシステムを構築しました．

タイムラインMRにおける光学的整合性について

タイムラインMRにおける光学的整合性とは，重畳描画する過去光景の色や影の付き方が現在光景に対して自然ですかという問題です．ほとんどの場合，過去光景として用いられる動画像は現在光景と日照条件が異なるため，理想的なタイムラインMRの実現には光学的整合処理が必要となります．本研究では，光学的整合性の問題を色に起因する問題と仮定し，過去光景と現在光景の色の違いについて注目しました．特に，色の違いが最も顕著に現れる過去光景と現在光景との境界部分を光学的整合処理の対象領域としました．具体的には，対象領域について過去光景と現在光景をアルファブレンディングすることによって境界を曖昧にする処理を行いました．

人間拡張班

人間拡張班とは？

人間拡張班では身体の動きや知覚に関しての研究を行っています．また，研究の際に使用するデバイスに関しても自ら作製しています．自身の身体の動きを用いた入力インタフェースの開発や人間に刺激を与える出力フィードバックシステムの構築，自身の身体の変化に伴う認知の変化などについての研究を進めています．具体的には舌の動きによる顎下部の皮膚表面変化の検知や頬部に刺激を与えた際にどう感じるのか，VR上で腕を伸縮させた際の身体感覚の変化などについての見識を広げています．

顎下部の皮膚変形の計測に基づいた舌位置の認識手法

ヒューマン・コンピュータ・インタラクションにおいて，ユーザによるコンピュータへの入力は不可欠であり，これまでに数多くの入力手法が開発されてきました．一般的にはマウスとキーボードを用いた手による入力が用いられていますが，ユーザが手に障害を持っている場合には利用が困難です．他にも音声や頭部運動による入力が検討されており，舌もその１つです．舌を入力として用いた時，ユーザが口にデバイスを加える必要があり，衛生面での問題や外部から認識できないことが問題として挙げられます．本研究では，舌が外部に出ていない状況においても，ユーザの視界を遮蔽せずに，舌を高速に計測する手法の開発を目指しています．ユーザの視界を遮蔽せずに計測するために舌の運動と連動した顎下部の皮膚変形を反射型光センサによって計測し，機械学習することで，舌の位置を認識するシステムの構築を目指しています．

HMD装着型頬部力覚提示機

私たちが様々な感覚を通じて現実世界を体験するのと同じように，複数の感覚を通じて仮想環境を体験することで，体験時の没入感や臨場感が高まり，ユーザエクスペリエンスが向上する傾向にあります．そのため，VR体験を向上させるために視覚や聴覚に合わせて人間の身体に触覚刺激を提示することが提案されています．その中でも頬部への刺激提示は，刺激に対する感度が高いことや手先と比べて操作性を損なわないという観点から有効です．しかし，人間の頬部の知覚に関しては明らかになっていないことが多くあります．そこで本研究では，頬部の力覚刺激に対する知覚を明確化し，頬部に刺激を提示するインタラクション手法の開発を目指しています．

引っ張り動作による前腕の皮膚変形の計測に基づいたアバタの腕の伸縮手法

人間の能力の向上を狙った人間拡張の研究がバーチャルリアリティなどの分野で盛んに行われています．特に，長い腕を持ったアバタに関する研究は数多く行われており，人間の知覚や行動の変化を誘発できると示されています．しかし，これまでの研究では長い腕を持った身体を用いることや腕を伸長する方法がシステムによって規定されていることが多く，インタラクションの対象までの距離によって困難な課題が生じました．そこで，本研究では引っ張り動作を用いてアバタの腕を伸縮する方法を開発しました．前腕部の皮膚変形をフォトリフレクタによって計測，機械学習により引っ張り動作を認識，認識結果を基にアバタの腕の伸長・収縮を行いました．また，本手法がリーチングタスクにおけるパフォーマンスおよび身体認知に与える影響を検証するために評価実験を行い，自身の前腕を引っ張ることにより，腕を伸縮している感覚が強くなることが示唆されました．

MR新規応用開拓

現実仮想両空間での運動状態の伝達

MRには現実空間と仮想空間が存在し，それぞれに実物体と仮想物体が存在します．仮想物体は現実空間には存在しないため，実物体が仮想物体に影響を及ぼすことやその逆の仮想物体が実物体に影響を及ぼすことはできません．この現象を起こすためにはセンサを使用して実物体の動きをセンシングし仮想物体に伝えることやアクチュエータを用いて仮想物体の動きを実物体に伝えることが必要です．本研究では，現実から仮想に伝える，または仮想から現実に伝える現象を整理し，それぞれの項目ごとに伝達させるためのハードウェアとソフトウェアを提案しました．具体的には伝達するのに使用するセンサとアクチュエータArduinoを用いて制御し，現実・仮想空間での現象の変化を伝達できるよう実装を行いました．

現実仮想両空間での状態変化の伝達

本研究では，上記研究をエデュテイメントの分野に絞って発展させ，完成度を上げることを目的しています．エデュテイメントの分野において，現実空間と仮想空間の間で伝達する情報として物体の運動量を使用するのは，適切ではないことがあります．そのため，エデュテイメント用に適切な伝達項目として，状態変化を伝達することとしました．本研究での状態変化の伝達とは，エデュテイメントの分野で利用されやすいように，ONやOFFといった情報を伝達しています．具体的な情報としては，倒れた・回転した・移動したなどの物体の状態が変化したことを伝えます．また，本研究ではLEGO社が販売しているマインドストームを使用し実装したマインドストームとは，センサやモータといったパーツを組み合わせてロボットや対話システムを作成することのできるキットです．

ドローン関連映像技術

ドローン向け位置合わせ機構の開発

当研究室ではドローン向け位置合わせ機構の開発を行っている．これは後述のドローン映像の高度利用を目的としている．これを実現するためには現在のドローンに搭載されているGPSや加速度センサをはじめとする計測機器のみを用いた位置姿勢の推定では精度が不十分であり、他の手法が必要となる． 本研究では計測機器からの情報と設置したマーカの認識を組み合わせて位置姿勢の推定を行う．マーカ認識手法として単独マーカ方式，複合マーカ方式，呼応型マーカ方式の3つの方式を提案しており，現在は主に単独マーカ方式による位置姿勢推定に取り組んでいる

ドローン映像の高度利用

当研究室ではドローン映像の高度利用の一つとして同一地点における過去の映像と現在の映像の重ね合わせを提案している． これを実現することによって災害や土地開発による地形変化を把握し，その影響について考察するといったことも可能になるのではないかと考えられる．

その他の研究プロジェクト

多層透視型映像体験システム

当研究室では，現実空間から物体を視覚的に隠蔽・消去・透過する技術である隠消現実感 (DR) の研究を行っています．DRの研究の中で，半隠消表示 (Half‐DR) という，DRは物体を消すことが目的ですが，完全には消さず，意図的に残すことによって半透明にする技術です．このあえて透明化する，透過させてみせるという表現を利用し，建物などがいくつも連なり多層構造になっており，目の前の建物の奥が観測できない状況においても，建物を透過させ，奥の光景を観測可能にする多層透視型映像体験システムを設計しました． 設計にあたり，本システムでは２つの利用モードを考案しました．１つめは，観測位置が固定で，視線方向に存在する層を透明化し，奥に存在する不可視層を次々と透視し，奥の層を望遠観測する多層シースルー・モードです．２つめは，体験者に移動感覚を与え，視線方向に存在する層の先に観測点を移動し，奥の層を観測するムーブスルー・モードである．両モードにより，3Dモデル内での自由な移動，あらゆる場所での透過可能なシステムの実現を目指しました．

透明物体の視覚的不整合の緩和

実物の透明物体は，物体の表面，反射像，屈折像の奥行きが異なる注視対象を持っており，注視する像によって目の状態が変わり，見え方が異なります． ビデオ透過型，光学透過型，両方を含むMR用ヘッドマウントディスプレイで透明物体を表現する際，2つの問題から視覚的な不整合が発生します．まず1つめが，目の水晶体の焦点調節に対応する奥行き表現が困難のため，ボケによる注視対象の奥行きの違いを表現できないことです．2つめは，透明物体の計算には，高い計算コストが必要という理由から，注視対象の奥行きの違いによる視差を表現していないことです． 本研究では，それらの視覚特性を疑似的に再現し，実物と仮想の透明物体の不整合を緩和します．具体的には，観測者の目の状態を基に，画像処理などを用いて，奥行きの違いによるボケを再現し，また独自のアルゴリズムにより低コストで視差を再現します．

▲
Page Top