Gr.1：新世代モバイル映像通信フレームワーク，高度道路交通システムにおける映像の高度利用

【新世代モバイル映像通信フレームワーク】

・映像通信フレームワークの設計

　監視カメラ，自動車の車載カメラや各種センサなど，散在するセンサによって実世界を観測した映像やデータは多数存在します．これらのセンサを複数組み合わせることで，より高度な映像表示が可能です．例えば，複数のカメラ映像を利用すれば，広視野な俯瞰映像の生成，建造物の3Dモデルの作成などができます．このように実世界を観測する映像やデータを高度に利用するためには，映像やデータの収集と利用のためのシステム構築が必要です．そこで私たちは，実世界をカメラや各種センサで観測した大量のデータを収集・蓄積することで時間的・空間的に散在するデータを利用可能にする映像通信フレームワークの開発に取り組んでいます．

・データベースの設計

　収集してきたデータを効率よく管理し，ユーザに提供するためにはデータの保存と検索を容易にするデータベースの設計が必須です．映像通信フレームワークにおけるデータの管理手法として実世界の物体をノードとみなした木構造での情報の管理や，任意位置，任意時間による時空間的なデータの検索などを提案しました．現在は，映像通信フレームワークに保管された多数の情報の中からより効率的に目的のデータを探し出すにはどういったテーブル構造でデータを管理すればよいかを検討しています．

・センシングデータの通信，圧縮手法の検討

　映像通信フレームワークでは，多数のセンサの情報を扱います．また，4Kカメラや地形情報を取得する距離センサの普及など，センシングデバイスの発展，普及に伴いデータサイズが大容量化してきています．これらの背景のもとで効率的にデータのやり取りをするためには通信手法と圧縮手法について検討が必要です．これまでの取り組みとして，映像通信フレームワークの利用時に生じる通信の流れそれぞれに適した通信方式の実装や画像中の指定した部分のみ画質を高く保ち，他の部分を圧縮する手法であるRegion of Interest (ROI) の実装などを行ってきました．

・映像利用のために必要な各機能の開発

　ただ映像データを蓄積，管理するだけでなく，それらの映像データをフレームワークのユーザに有効活用してもらうことも私たちがフレームワーク開発のうえで掲げる目標です．本テーマではそのために必要な機能を開発します．これまでに，位置姿勢推定，3次元再構成，複数の画像の合成などの機能を実装しました．

・映像通信フレームワークへのドローンの導入

　ドローンを活用したサービスやドローンそのものの開発は大きく進んでおり，将来的に街中をドローンが行き交うことが考えられます．また，ドローンは車や固定カメラに比べて移動に関する自由度が高く多視点からの映像を取得可能なことから映像通信フレームワークで扱うメリットが大きいです．そこで，ドローンを映像通信フレームワークに組み込む研究に取り組んでいます．データを収集するうえで障害となってくるドローンの種類に依存した取得データの違いに対応するためにドローン向け汎用データ型の設計や各種ドローンから得られるデータを変換するシステムの開発，開発したシステムの動作確認などを行っています．

・ドローンによる空撮映像に対する撮像位置の推定

　映像通信フレームワークに蓄積されるデータはそのデータの取得位置や時間とともに保存されます．この位置と時間を手掛かりにユーザはデータを検索して利用します．そのため，蓄積，共有するデータに付与される位置や時間には正確性が求められます．しかし，GNSS による測位に基づいて位置情報をデータに付加する場合，測位精度やセンサ間の取得周期の差異により，正確な位置情報を付加できないという問題があります．そこで，データの撮像位置を正確に推定する研究を行っています．これまではVisual Odometryと呼ばれる，空撮映像から特徴点を抽出して移動軌跡を算出する技術を用いて撮像位置の推定に取り組んでいます．

【高度道路交通システムにおける映像の高度利用】

・車両透視による安全運転支援システムの開発

　拡張現実感や複合現実感の発展的な技術として，現実世界にある物体を視覚的に隠蔽や透過，除去する隠消現実感があります．Gr.1では，この技術を応用した安全運転支援システムを開発しています．本システムを利用することで，周囲の車両や建物などによって生じる死角領域を可視化することができます．これによって，駐車車両の影や交差点の曲がり角の先など，運転者からは見えない領域から飛び出してくる人や車を認識することができ，事故発生の抑制やストレスの低減に貢献することができます．

・5G環境下における性能分析と実運用に向けた取組み

　NTTドコモに協力していただき，実際の環境での使用を想定した実験・開発を行っています．共同実験では，第5世代移動体通信システム(5G)を活用して，実際に車両間で情報共有したうえで死角領域の可視化を行いました．5Gを活用した通信手法は，自動運転やトラックの隊列走行の実験にも使用されており，将来的に車車間や路車間通信の手法として普及される可能性が高いと考えられています．2年に渡って共同実験を行っており，2019年度に5GとVPN，2020年度に5Gとドコモオープンイノベーションクラウド?を組み合わせた通信手法を使用し，システムや通信手法の性能を分析してきました．これらの実験を通して得られた結果を元に，現在も実運用に向けた開発に取り組んでいます．

・車両透視時の視認性・安全性の向上

　死角領域の可視化はこれまでの研究でも達成されていましたが，可視化結果の視認性や安全性の観点からいくつかの課題があります．例えば，車両の一部が透過できないことや車両を完全に透過してしまうことで距離感が掴めず衝突事故を起こしてしまう危険性が考えられます．このような課題を解決する表現手法について提案をしています．