実時間で現実世界の物体と仮想の物体どちらにも照明効果を付与する

  ・色調補正処理による環境光の表現
  ・仮想照明を組み合わせた照明演出
　　1. 照度マップの生成
　　2. 照度マップに応じたライティング

  ・照度-RGBモデル : 照度と物体色の対応関数を表面反射特性として推定
  ・被照面モデル : 仮想照明があたる実物体に重ねる仮想物体

  ・実時間計算により，点光源の照明によって加えられる照度を計算
  ・照明の光軸に対する角度ごとの光度を記録した配光データを利用

  ・時間の掛かる照明計算は，予め計算しておき照度マップを生成

照明シミュレーション結果

照度分布画像

照明付与結果

  現実の映像と音，仮想の映像と音の4種類が融合するシステム

  視覚的MR : 現実世界の光景と電子的に生成したCG映像の重畳合成
  聴覚的MR : 現実世界で発した実音とコンピュータで生成した人工音の混合
    ・現実空間では実音源からの音のみが鳴っている
    ・MR空間では仮想の音源も存在するように聞こえる

　頭部伝達関数 (Head-Related Transfer Function: HRTF）
　　音源から両耳までの伝達特性
　上記の映像と音が体験者の存在する現実空間において実時間で幾何学的整合性を保っている