RESEARCH

ITS（高度道路交通システム）とは、センサなどから得られる情報を上手く共有、活用して渋滞や事故などの道路交通が抱える問題を解決するシステムのことを指します。 ITS班では死角となっている場所を可視化することに着目し、システムの開発に取り組んでいます。可視化にあたっては隠消現実感（Diminished Reality; DR）と呼ばれる現実世界の物体を視覚的に除去する技術を用いています。周辺の車両や自身が運転する車両によって生じる死角をDRを用いて透過し、運転者からは見えない領域から飛び出してくる人や車を認識することで、事故発生の抑制やストレスの低減に貢献することができます。周辺車両の透過に注目した「他車両透過」、自身の車両（自車体）に注目した「自車体透過」が行われています。

Gr.1では、現実の物体を視覚的に隠蔽・透過・除去する技術である隠消現実感 ( Diminished Reality; DR) を用いた隠消現実型安全運転支援システムの開発を行っています。 このシステムは、車両に取り付けられたセンサの情報を車両間で共有することで、運転妨げとなる駐車車両などを透過します。このように、周辺の車両を透過することで、死角となっていた領域に存在する歩行者などを可視化することで、衝突事故の未然回避などにつなげるシステムです。 現在は、360度パノラマ写真などが撮影できる全天球カメラや複数の単眼カメラを用いて周辺車両をあらゆる方向からでも透過し可視化できるようなシステムの拡張などを行っています。

従来のメタバースがVR空間での体験に焦点を当てていたものに対し、リアルワールドメタバースはMR技術を利用して現実世界を拡張する概念です。Gr.1では、このリアルワールドメタバースを基盤としてMRキャンパスを構想しました。MRキャンパスは、現実世界のキャンパスを拡張したMR空間と、現実世界のキャンパスのデジタルツインを作成したVR空間とを組み合わせ、両空間で相互作用する仕組みです。両空間を同期させることで、リモートユーザとのディスカッションやプロジェクト作業 が容易になるなど、より充実した空間上で様々な作業ができます。このようなキャンパスを実現することを目指しています。

本研究では「リアルワールドメタバース」において、現地ユーザとリモートユーザの音声を互いに伝達する手法を提案しています。現段階では、HMDを装着したユーザの音声伝達の実装を行っており、最終的にはMRキャンパスに直接アクセスしていないユーザも音声によるコミュニケーションを取れるシステムの構築を目指しています。音声伝達を行う上で、単なる電話のような音声通話ではなく、話者が実際にいる方向から音声が聞こえるような立体的な音声通話を実装すべく、立体的な空間音響の実装を行いました。実装した空間音響では音の距離減衰や反射、回折などの基本的な性質が再現されており、リモートユーザでも現地にいるように会話をすることが可能となっています。

本研究は「リアルワールドメタバース」において、HMD（ヘッドマウントディスプレイ）を装着していないユーザーをVR空間に反映させる手法を提案しています。MRキャンパスの実現にあたって、キャンパス内のすべてのユーザーにHMDを装着してもらうことは現実的ではありません。そこで、天井設置カメラを用いて画像認識によりユーザーの頭部を検知・位置推定し、それをVR空間に反映させることで、多数のユーザーの状況を把握できるシステムを開発しました。このシステムでは、講義を受ける学生など細かな動きが重要でないユーザーは大まかな位置情報のみを反映し、教授など詳細な動作の把握が必要なユーザーは従来通りHMDを装着するという使い分けを想定しています。