B：複合現実型視覚提示技術の次世代基盤構築

B1：静的な隠背景を事前に取得し，体験時の環境に対応して利用するDR
(SB-DV型DR)

研究経過

　 従来のAR/MR技術と比較しつつ，DRの技術マップを作成し，当該技術体系の全容を捉えながら本基盤研究を進めている．隠背景を観測せず（or できないので），想像し得る隠背景情報で消去したい領域を埋めるInpainting手法の意義は理解しているが，我々の研究では，事前に隠背景を観測して重ね合わせるPOB (Pre-Observation Based)-DRのみを開発対象としている．ただし，実用的なシステム開発では，既存のInpainting手法も活用している．
　独自要素技術開発では，比較的達成しやすい課題から手がけ，次第に困難な課題に移行している．

【H24-26年度】
・隠背景平面拘束の利用
　第１ステップとして隠背景が1面ないし2面で近似できる対象に限定し，体験時に幾何学的整合と光学的整合を同時に達成するシステムを開発した．
　POB-DRでは，照明条件の違いから光学的不整合が生じやすいため，除去対象領域とその周辺（周辺参照領域）にて処理内容を区別する枠組を提案した（図1）．
　開発したシステムでは，磁気センサを用いて取得した撮影地点を基準として事前に撮影した画像を選択して重畳しているが，周辺参照領域から推定した色調変化を除去対象領域に重畳する画像に反映することで，光学的不整合を軽減することに成功した（図2）．また，試験的に作成したDR実験用画像列を利用し、システムの有効性を客観的に評価した．

【H25-26年度】
・隠背景の幾何形状を利用しないDR
　上記とは全く逆の設定で，近似できないくらい複雑な隠背景の場合に，隠背景の幾何形状を一切利用しないDR手法を開発した．幾何形状を用いずにレンダリングを行うImage-Based Rendering (IBR) 法であるLight Field Rendering (LFR) をDRに応用することで（図3），複雑な隠背景にてもDRを可能とし，また，その利点と欠点を洗い出した．
　除去対象の位置がある程度既知である，という前提のもと，除去対象を囲うようにカメラアレイを構成することで，高精度な除去対象の視覚的除去を実現した．その後に，規則的に配置したカメラアレイを構成せずともLight Fieldsを構築可能にするように手法を拡張した．除去対象の位置がある程度既知であるという前提があるので，除去対象領域を通過しない光線をデータから除去することでデータ容量を削減し，GPUを用いて演算することで計算時間を削減し，実時間処理を実現した．
　背景の幾何形状を利用しない制約の基，周辺参照領域において除去対象領域での色調変化を推定し除去対象領域に反映させることで，光学的不整合を軽減することに成功した．

【H26年度】
・隠背景平面拘束の緩和
　隠背景の平面拘束を利用する立場と隠背景の幾何形状を利用しない立場の中央に立ち，隠背景平面のテクスチャとして視点依存画像を利用する手法を開発した．背景の情報は，幾何形状の荒い近似であるポリゴンと，視点依存画像をテクスチャとするView-Dependent Texture Mapping (VDTM)を持ったテクスチャ付3次元モデル (Textured 3D Model; T-3DM) として事前に用意する．
　このT-3DMを用いてを用いて生成したIBR画像と体験時画像の周辺参照領域との比較により，画像ベースのカメラ位置姿勢推定と色調補正を達成した（図4）．本手法を用いることで，DRにおいて動的に変化する照明下で大きな視点移動に耐え得ることが可能である．また，本手法の開発により，実用性の高い方法として，本研究後期の柱が確立したと言える．

【H24-28年度】
・系統的DR実験環境の整備
　「隠背景撮影環境整備」は，当初計画調書から宣言していた課題である．DR技術全般を視野に入れ，多様な場面に応じた系統的実験が可能なDR実験用スタジオを設けて，様々な手法の価値を評価できる体制作りを志向した． H24年度からその機能設計を始め，仮想空間上でスタジオの構成やカメラの動きをシュミレートした．H25年度に外部のレンタルラボに移転（後述）する時期に併せ，設備・機材も一新し，照明機器（HMI照明)，ロボットアーム，ミニチュアセット，実寸大セットを導入した（図5）．この実寸大セットは小道具の組み換え（アクリル板の有無，壁面の飾り棚の有無など），照明操作により背景の複雑さを変更可能である（図6）．照明操作は撮影監督である坂本誠吾氏に師事した．また、様々なDR手法を評価するための第一次のDR手法評価用データセットを作成した（表1及び図7）．H25年度からH26年度前半までの1.5年間をかけてこの環境整備を終えた．これは世界でも類のない研究実験資産である．
　さらに，H28年度では隠消現実感研究の発展のため，アルゴリズム比較評価のための「標準データセット」の確立を目指して，第二次DR手法評価用データセットを開発した．本データセットは提案手法と従来手法を客観的に比較評価できるデータであり，シーンに対してDR処理を実行する意味のある題材を用意し，それらをカテゴリーと分類した．第一次データセットからの拡張として，シーンの構成内容，対象DR手法を標準データセットとして一般性があるデータを開発した（表2及び図8）．作成したデータセットの構成要素やカテゴリー分類，シーンの選定はDR研究の有識者からなる「DR諮問委員会」に諮り，各委員から得た意見・助言を反映したものである．本データセットはこちらに公開している．
　

表1 第一次DR手法評価用データセット一覧

	主な背景物	照明変化の有無	シーンの特徴
シーン1	案内板，植え込み	なし	背景の幾何形状が単純
シーン2	ガードパイプ，椅子と机	なし	背景の幾何形状が複雑
シーン3	案内板，植え込み	あり	色調が変化する程度の照明変化
シーン4	植え込み，車，壁面	あり	隠背景に影がかる程度の照明変化

表2 第二次DR手法評価用データセット一覧

	主旨	対象DR	カメラパス
カテゴリー1	DRで扱われる課題を 排他的に試験・評価	POB-DR IB-DR	ヘッドモーション
カテゴリー2	屋外で照明が変化する 場合でのDR手法の試験・評価	POB-DR	物体を注視して円弧状に移動
カテゴリー3	実在シーンにおける DR手法の試験・評価	POB-DR IB-DR	固定
カテゴリー4	移動する除去対象物体に 関するDR手法の試験・評価	POB-DR	水平回転（パン）

【H26-27年度】
・屋外への展開
　開発した種々のDR手法はMR型映画撮影支援システムに組み込むことで，屋内外での実地テストを行い，有効に機能することを確認した．このシステムでは，ユーザが選択した除去対象領域と保存された隠背景データに基づき，多種の手法を切り替えられるよう工夫した．例えば，ロケーションハンティング時に撮影した画像群から，除去対象領域を隠背景で再構成できる場合，光学的整合性を保つように画像処理を加えて，除去対象物体を除去する．このような事前作成データが存在しない場合，画像修復技術によって，除去対象物体を除去する．こうした手法の切り替えは画素単位で行われるため，一部は事前観測データから，残りは画像修復で，といった具合に不要物体を除去できる．
　このDR-PreVisシステムの開発を通して，これまでに開発した種々のDR手法が，実験レベルだけでなく実用レベルに耐えうることが実際の映画撮影用セット内での実証実験を通して証明された．図9は，過去に撮影した隠背景データが存在する場合のDR処理結果の一例である．実シーンに存在する工事用の柵が，過去に撮影された画像に置き換えられている．

【H27-28年度】
・両眼立体視可能な隠消現実感
　隠背景画像生成法についての一定の成果が得られてからは，両眼立体視可能な隠消現実感へと議論を展開させた．複合現実感と同様に，隠消現実感でも，HMDを利用した両眼立体視表示を行うことが求められる．ただし，隠消現実感では，生成された隠背景画像と現画像を合わせて両眼で確認する必要があるため，この際に発生する独自の問題の特定を行った．発見した問題は，被験者実験と定量的な指針を用いて実証し，具体的な対処法と合わせて論文誌にまとめた．具体的には，現画像と再構成された隠背景との間の光学的不整合によって，除去対象領域が立体的に浮き出て見える（図10），Image-Based Renderingを利用した隠背景再構成によって，視点に応じて立体感が変化する，といった現象を確認した．

【H28年度】
・移動物体への適用
　静的な背景を前提とした隠背景画像生成方法についてはこれまでにおいて一定の成果が得られたため，本手法では背景が静的であるという前提条件を緩和する手法を開発した．拡張の第一歩として背景中に剛体の移動物体が存在する場合に限定し，本テーマの隠背景画像生成方法に(B-2)の研究成果を取り込むことで，これまでの高精度な静的背景の再構成に加え，動的な剛体を含む背景に対処可能な新手法へと拡張を行った（図11）．移動物体が剛体であるという前提を活かし，(B-2)を単純に取り込むのではなく移動物体が隠背景に入り込む前に観測した情報を用いることで，生成する移動物体モデルの欠損の軽減と光沢の反映を実現した．この研究成果は国内会議で発表し，奨励賞受賞という形で評価を得た．