RESEARCH

Gr.2 研究紹介

MR/DR班

タイムラインMRとは？

時系列複合現実感 (Timeline Mixed Reality) は、複合現実感 (Mixed Reality) 技術の発展形であり、現実世界の同一地点の時間軸上の変化を融合表示する技術です。MRは「現実と仮想の実時間融合」ですが、タイムラインMRは「時間差のあるリアルとリアルの融合」です。このタイムラインMRは、当研究室が提唱する新概念であり、建築・都市計画・防災・教育など様々な分野で活用することを目指しています。

時間軸を考慮した実世界光景の効率的な蓄積・管理

仮想空間内での事物が、時間軸まで考慮して、すべてCGデータ化されているのであれば、その時空間内をいかようにも移動してタイムラインMRすることができますが、現実世界のあらゆる物体を詳細に幾何モデル化することは困難であるため用途・目的に応じて、現実世界を観測しておく必要があります。未来のある時点で、過去の景観が必要となる場合に、長い時間をかけて系統的に景観データを蓄積しておく必要があります。撮影機材や日照条件が異なる画像群を現在と過去の実時間の効果的な融合表示でのタイムラインMR表示に適した中間形式に変換しておくことも必要です。

屋外でのMR体験システム

本研究室では、タイムラインMRを実際に屋外で体験可能なシステムの研究を行っています。初めの段階として、大学のキャンパス内で体験可能なシステムを設計しました。このシステムでは、キャンパス内の3Dモデルを用いることによって幾何学的整合性の正しい位置に仮想オブジェクトを設置しています。現在は、動画を用いるものについて研究を行っており、過去データの撮影時のカメラパラメータ（位置、方位角、俯角、視野角）を利用して幾何学的整合性の正しい位置に動画を配置しています。また、撮影時のカメラの位置姿勢、体験者の位置姿勢を考慮したシステムの開発に取り組んでいます。

遠隔体験型タイムラインMR体験システム

本研究室では、体験者の眼前の光景ではなく遠隔地に設置された定点カメラやドローンなどで取得したリアルタイムの映像を用いたタイムラインMRについても研究しています。本形式は、タイムラインMRの基本形とは異なるため遠隔体験型タイムラインMRと定義しています。遠隔体験型タイムラインMRでは取得した遠隔地の映像をインターネット経由で体験者のタブレット端末やHMDなどに配信し、タイムラインスポットに対して体験者が選んだ過去の光景に置き換えることができるようなシステムの実現を目標としています。これまでに使用する映像を定点カメラからの映像に限定し、タブレット端末とHMD上で一連の体験ができるプロトタイプシステムを構築しました。

タイムラインMRにおける光学的整合性について

タイムラインMRにおける光学的整合性とは、重畳描画する過去光景の色や影の付き方が現在光景に対して自然ですかという問題です。ほとんどの場合、過去光景として用いられる動画像は現在光景と日照条件が異なるため、理想的なタイムラインMRの実現には光学的整合処理が必要となります。本研究では、光学的整合性の問題を色に起因する問題と仮定し、過去光景と現在光景の色の違いについて注目しました。特に、色の違いが最も顕著に現れる過去光景と現在光景との境界部分を光学的整合処理の対象領域としました。具体的には、対象領域について過去光景と現在光景をアルファブレンディングすることによって境界を曖昧にする処理を行いました。

タイムライン向けのタギング機構の開発

タイムラインMRの課題の１つとして、タイムラインMRで利用する過去データの蓄積及び管理が挙げられます。タイムラインMRで扱うことを想定している過去データは画像・動画・3D モデルの3つがあり、本研究では過去画像データの蓄積に関する課題について注目しました。まず前提として、タイムラインDBには大量の画像データが存在しており、利用者が使いたい画像データを日時，位置姿勢情報のみから選別する必要があります。そこで、タイムラインMR向けのオートタギング機構の開発を行いました。タイムラインMRに適したタグとは、時間経過で変化する光景に関するタグ、複合名詞や固有名詞を用いたタグ、イベント名や建物名のような固有名詞を用いたタグと定義し、特に被写体に関するタギングと人の多寡に関するタギングを目指しました。

人間拡張班

人間拡張班とは？

人間拡張班では身体の動きや知覚に関しての研究を行っています。また、研究の際に使用するデバイスに関しても自ら作製しています。自身の身体の動きを用いた入力インタフェースの開発や人間に刺激を与える出力フィードバックシステムの構築、自身の身体の変化に伴う認知の変化などについての研究を進めています。具体的には舌の動きによる顎下部の皮膚表面変化の検知や頬部に刺激を与えた際にどう感じるのか、VR上で腕を伸縮させた際の身体感覚の変化などについての見識を広げています。

顎下部の皮膚変形の計測に基づいた舌位置の認識手法

ヒューマン・コンピュータ・インタラクションにおいて、ユーザによるコンピュータへの入力は不可欠であり、これまでに数多くの入力手法が開発されてきました。一般的にはマウスとキーボードを用いた手による入力が用いられていますが、ユーザが手に障害を持っている場合には利用が困難です。他にも音声や頭部運動による入力が検討されており、舌もその１つです。舌を入力として用いた時、ユーザが口にデバイスを加える必要があり、衛生面での問題や外部から認識できないことが問題として挙げられます。本研究では、舌が外部に出ていない状況においても、ユーザの視界を遮蔽せずに、舌を高速に計測する手法の開発を目指しています。ユーザの視界を遮蔽せずに計測するために舌の運動と連動した顎下部の皮膚変形を反射型光センサによって計測し、機械学習することで、舌の位置を認識するシステムの構築を目指しています。

HMD装着型頬部圧覚刺激提示システムの開発

私たちが様々な感覚を通じて現実世界を体験するのと同じように、複数の感覚を通じて仮想環境を体験することで、体験時の没入感や臨場感が高まり、ユーザエクスペリエンスが向上する傾向にあります。そのため、VR体験を向上させるために視覚や聴覚に合わせて人間の身体に触覚刺激を提示することが提案されています。その中でも頬部への刺激提示は、頬部が手先に次いで触覚受容器の密度が高いことや手先と比べて操作性を損なわないという観点から有効です。しかし、人間の頬部の知覚に関しては明らかになっていないことが多いです。そこで本研究では、頬部の圧覚刺激に対する知覚を明確化し、頬部に刺激を提示するインタラクション手法の開発を目指しています。

引っ張り動作による前腕の皮膚変形の計測に基づいたアバタの腕の伸縮手法

人間の能力の向上を狙った人間拡張の研究はVRの分野で盛んに行われています。特に、長い腕を持った身体（アバタ）に関する研究は数多く行われており、人間の知覚や行動の変化を誘発できると示されています。しかし、これまでの研究では、すでに長い腕を持った身体を用いることや、腕を伸長する方法がシステムによって規定されており、インタラクションの対象までの距離の調整等、困難な課題がありました。そこで、本研究では、片方の前腕をもう片方の腕で引っ張ることにより、アバタの腕を伸縮する方法を開発し、ユーザが自ら腕の長さを制御できる拡張身体が、ユーザの身体感覚やパフォーマンスに与える影響を検証しています。この研究を通じて、VR空間における拡張身体の可能性を広げ、ユーザがより自由で直感的なインタラクションを享受できる環境の実現を目指しています。

手回し発電機を用いた力覚フィードバックの利用可能性の検討

回転方向の力覚フィードバックには消費電力や携帯性に課題がありますが、手回し発電機を用いることで、省電力かつ軽量に抵抗トルクを提示することができます。発電機に接続された電気抵抗の値によって発電量が変化し、それに伴って回転時の仕事量も変化するため、抵抗トルクも変化します。本研究では、この特性について詳しく調査しました。電気抵抗と抵抗トルクの関係は反比例で表され、ギア比が高いほど、提示可能な抵抗トルクの範囲が広がります。遅延は平均0.08秒であり、人は抵抗力が弱くなる変化の方が判別しやすい傾向が見られました。これらの特性から、手回し発電機はゲームなどの力覚提示に適しており、没入感の向上が期待できます。応用例として、抵抗力を5段階で切り替えられるVR釣りゲーム用のリールデバイスを開発し、モバイルバッテリーによる16時間の動作を確認しました。

顔面運動を用いた2本の拡張肢操作手法の検討

本研究では、顔の表情により、身体装着型ロボットアーム（Third arm）を左右独立に操作する新たなインタフェースを提案し、その有用性を評価しました。従来の顔面操作は視線方向に依存し、左右別の制御が困難でしたが、本研究では「つもり制御」を用いて操作しやすい顔面運動を選別・マッピングしました。Pick and Placeタスクを用いた実験の結果、左右独立操作は可能であり、主観的評価（SUSスコア）も一定の効果が確認されました。ただし、意図しない動作や個人差といった課題もあり、今後は機械学習やキャリブレーションの導入による改善を考えています。

MR新規応用開拓班

現実仮想両空間での運動状態の伝達

MRには現実空間と仮想空間が存在し、それぞれに実物体と仮想物体が存在します。仮想物体は現実空間には存在しないため、実物体が仮想物体に影響を及ぼすことやその逆の仮想物体が実物体に影響を及ぼすことはできません。この現象を起こすためにはセンサを使用して実物体の動きをセンシングし仮想物体に伝えることやアクチュエータを用いて仮想物体の動きを実物体に伝えることが必要です。本研究では、現実から仮想に伝える、または仮想から現実に伝える現象を整理し、それぞれの項目ごとに伝達させるためのハードウェアとソフトウェアを提案しました。具体的には伝達するのに使用するセンサとアクチュエータArduinoを用いて制御し、現実・仮想空間での現象の変化を伝達できるよう実装を行いました。

現実仮想両空間での状態変化の伝達

本研究では、上記研究をエデュテイメントの分野に絞って発展させ、完成度を上げることを目的しています。エデュテイメントの分野において、現実空間と仮想空間の間で伝達する情報として物体の運動量を使用するのは、適切ではないことがあります。そのため、エデュテイメント用に適切な伝達項目として、状態変化を伝達することとしました。本研究での状態変化の伝達とは、エデュテイメントの分野で利用されやすいように、ONやOFFといった情報を伝達しています。具体的な情報としては、倒れた・回転した・移動したなどの物体の状態が変化したことを伝えます。また、本研究ではLEGO社が販売しているマインドストームを使用し実装したマインドストームとは、センサやモータといったパーツを組み合わせてロボットや対話システムを作成することのできるキットです。