コンピュータイメージフロンティアIII
電脳映像空間の進化（11）
人工現実感から複合現実感へ
プロローグ
今月は話題をまたVR側に戻しましょう。この連載も残り少なくなり，私達が推進しているMRプロジェクト関連の話題をご紹介いたします。本シリーズ第3回（97年7月号）では，廣瀬道孝先生へのインタビューでVRの黎明期から現在に至るまでのお話をしていただきました。その中で「仮想と現実のポジティブな混ざり方」と語っておられたテーマです。
他の回の取材・ルポと違って，自分達のことは我田引水になりがちで，ちょっとやりにくいなと感じます。ところが，パンダおじさんがつけた「複合現実感」という言葉も流行ってきて，結構関連分野の研究も盛り上がってきました。こうなると，取り上げないのも何か隠しているようでアンフェアですね。そこで，やりにくさは覚悟の上で俎上に乗せることになりました。
いつもよりは
＆
の対話パートを増やし，私がインタビュア役となって，複合現実環境のもつ意味とこれからの展開に迫ってみることにしました。
（
）
1. その後のVirtual Reality
バーチャルは生き残った
「バーチャル・リアリティ」(VR)という言葉が生まれ，一大ブームが起きてから約10年経った。「マルチメディア」と同様，VRもコマーシャル・ベース主導でブームが始まり，マスコミがこれを助長し，これを追う形で学術系が腰を上げた。1996年に発足した日本バーチャルリアリティ学会は3年目を迎えるし，国際会議もVRAIS (Virtual Reality Annual International Symposium)，VRST (Virtual Reality System and Technology)，VSMM (Virtual System and MultiMedia)等，ほぼその性格づけも定着してきた。
その一方で，VRが新聞・雑誌・TV等で取り上げられる頻度はかなり減少した。展示会でのアトラクションとして利用されることも少なくなった。毎年6月の「産業用バーチャルリアリティ展」は続いているものの，業界内だけのやや地味な催しである。VRで急成長したというベンチャー企業もない。映画の中でさりげなく使われる度合も，インターネットの方が圧倒的に優勢である。同じ「サイバースペース」でも，「第1のCS」であるVR技術は，メディア露出度では「第2のCS」のインターネットにかなりの差をつけられてしまったようである。
では，VRは単なる一過性のブームだったのだろうか？ そんなことはない。経済紙が騒ぎ立てる企業サクセス・ストーリーにとっての恰好の対象がないだけである。むしろ，VRというコンセプトが，広く一般に定着したのだという見方もある。
その証拠に「バーチャル」という言葉がごく当り前に使われるようになった。「バーチャル・カンパニー」「バーチャル・スタジオ」「バーチャル・モール」等々である。かつては，情報処理分野でも「バーチャル・メモリ」くらいしか耳にしなかったから，ほぼすべてVRブーム以降の産物である。いかにコンピュータのパワーがアップし，物理世界を電子的に代行できる対象が増えてきたかが分かる。
VRは，このコンピュータ・パワーによるCGの描画力と，小型液晶ディスプレイによるHMD（Head Mounted Display）の実現，各種位置センサや対話デバイスの発達が，トータル・システムとして登場したことによって大きなブームを引き起こした。それまで独立していた立体ディスプレイの開発，科学技術計算結果の可視化，大型映像によるエンターテイメント，フライトシミュレータに代表される訓練・予行演習，等々が一気にその境界を失くして，VR分野を形成したのである。
VR産業はいま…
VRブーム後の現状を分析するなら，その生い立ちに戻って考えてみるべきである。ビジネス的に不振と見られるのは，VRの象徴的存在であるHMDが大きな市場を形成していないからだろう。確かに一時期数十社もあったHMDべンチャー企業のほとんどは店閉まいしてしまった。一般のTV受像機やパソコン・モニターに比べるとかなり低画質であり，装着感等の問題もあって，物珍しさが過ぎると注目度はぐんと落ちてしまった。
それでも，島津製作所，オリンパス光学は，高価格帯の製品で市場を維持しているし，米国のカイザー社にいたっては，軍や宇宙関係の顧客に対して数十台／年の売り上げで成り立っているという。一方，立体映像用ではないが，ソニーは個人用ビュアとして「グラストロン」を発売し，新しい市場を創出した。0.7〜1インチ程度の小型液晶パネルは，これまで20〜30万画素がせいぜいだったのが，VGAレベルの92万画素のチップが出始めた。HMDの画質もこれから急速に向上していくと考えられるので，改めて見直されることになるだろう。
HMDが提示した広視野による臨場感は，大画面ディスプレイがその需要を受け継いだと考えられる。歩き回る感覚は犠牲にし，一度に多人数に体験させるならこちらの方が好都合である。一方，圧倒的な没入感を与えるCAVEからCABINに至る開発の背景とその体験記は，それぞれ第3回と第6回（97年10月号）で取り上げた。イリノイ大学がCAVEの簡易版として開発したImmersaDeskもこの流れの一環だと考えられる。
用途・応用分野から眺めると，対話型のビジュアルシミュレーションはもうあちこちの分野で使われていると言っていいだろう。有名な松下電工のシステムキッチンのVR体験システムは，住宅全体に拡張されている。運転のシミュレータでは，バイクのライディング・シミュレーションが教習の標準コースに組み込まれているという。医学分野での手術シミュレーションに関しては，日本コンピュータ外科学会が設立され，その主たる研究テーマに取り上げられている。
アミューズメント分野では，ユニバーサルスタジオの「バック・トゥー・ザ・フューチャー・ライド」が先鞭をつけた後，続々と体感ライドものが登場し，テーマパークの人気アトラクションの地位を確立した。インタラクティブでも立体映像でもないが，これもVRブームが生んだ顕著な実用例だろう。3D映像のシアターはまた別の人気を保っているので，それぞれVRシステムのある側面だけを受け継いでいると言えるだろう。
そして，インタラクティブ性で言うなら，華々しい成長を遂げたのは，何といってもビデオゲームの世界である。アーケードゲームも家庭用ゲーム機も，立体映像は主流とはならなかったが，3D-CG化は急速に進んだ。いまや，特に3D化の必要のないゲームまで，ポリゴン・ベースになり，テクスチャ・マッピングの厚化粧を施している。その発端となったセガの「バーチャファイター」の名を出すまでもなく，VRブームの影響をまともに受け，最も成功・成長した分野であることは明らかである。
あまりにこの分野の発展が著しく，かつ確立した業界になってしまったので，今さらVR技術との関わりを論じるまでもなくなった。ゲーム業界の覇権争いはそれだけで大きな話題であるので，他のVR産業がかすんで見えるのであろう。
HMDは復活するか？
Yuko VRは命名からまだ10年以内，ゲームが3Dになってまだ3〜4年なんですね。
Dr. SPIDER AIはもう40年以上，CGも35年くらいの歴史です。それと比べるとあっという間に世の中に大きなインパクトを与えましたね。
でも，HMDタイプのゲームはあまり流行らなかったんでしょう？
アメリカのゲームセンターじゃ結構あるんですよ。ゲーム王国の日本では，地位は低いですね。まずは画質の問題。そして，安全・衛生の問題もあって，業界大手があまり力を入れなかったことも一因だと思います。
ゲーセンには，グループで行くことが多いので，1人で使えないHMDは日本の風土に合っていないのかもしれませんね。今何をやっているのかをモニタに映して，周りの人にも分かるといいと思うんです。
それで，大画面にして一緒にシューティングしたり，レースしたりの方がいいんですね。
立体メガネの「バーチャルボーイ」もヒットしなかったところを見ると，ゲームに立体視は必要ないんでしょうか。長時間だと目が疲れるという影響もあるみたいですが…。
それもあるけど，それ以前のコンテンツの問題でしょう。3D-CGですら使いこなすのに数年かかっているのに，立体視を生かしたゲームとなると，そう簡単にキラーソフトは作れません。
一時期大流行したステレオグラムもすっかりなりを密めてしまいましたね。何十冊も本が出てたのに…。
それがブームのブームたる所以でしょう。「ホビーハウス」の鏡唯史先生もすっかり大人しくなっちゃったもんね（笑）。最近休みがちだし，1月号にも載っていませんでしたよ。
私たちがページを取りすぎたのかしら（笑）。ともあれ，VRや3Dの表層的なブームは終わり，しっかりと根付くものは根付いてきたということですね。
コンセプトは世の中に受け入れられ，低かったリアリティが徐々に上がりつつあるといったところでしょう。立体視は不要と決めつけるのはまだ早いと思います。HMDも民生用で一気に広がらなかっただけで，研究用・業務用ではそこそこ使われています。
どんな使われ方なんですか？
医学だと，手術シミュレーションはまだまだ研究段階だけど，精神医学の分野では，HMDをかぶらせ，映像を見せて心理療法に用いるといった使い方もされているようです。軍関係だと，戦闘機の計器類をシースルー眼鏡に映し出して操縦させるんです。この場合は，HMDというよりヘルメットに直に装着することになります。
HMDが高画質で小型軽量になったら，また見直されるんじゃないかという気がします。
目が疲れるっていうけど，昔は普通のテレビだって2時間で消せ，近視になるって騒いだんですよ。今じゃ誰もそんなことは言わない。もっとも，目を悪くするより，一億総白痴化でアタマを悪くする方に働いたという気もします（笑）。
2. Augmented Reality〜現実世界を情報強化
VRへのアンチテーゼ
では，コンセプトとしては確立した感のあるVR技術の中で，少し動きのある分野を紹介しよう。Augmented Reality (AR)と呼ばれるのが，それである。‘Augment’とは，「増強する」「添加する」といった意味で，我々が住むこの現実の世界を電子的なデータ，仮想の事物で補強するのがARである。「増強現実（感）」とか，「拡張現実（感）」と訳されている。
典型的な例は，シースルー型のHMDをかけて現実世界をメガネ越しに眺め，そこへ仮想世界のCGデータを重畳表示して見るといった用法である。写真1は，AR研究の初期の著名な例で，コロンビア大学のKARMAと名づけられたシステムである。このシステムは，レーザービーム・プリンタの保守作業ガイドを対象とし，プリンタ内部の構造や可動物をワイヤフレームで重畳表示している。位置検出には超音波センサを用いているが，よく見るとあまり位置合わせ精度はよくない。それでも，利用者の視点位置からシースルー眼鏡をかけて実時間ARを体験させたシステムとして，記念碑的な役割を果たした。もちろん，これが本当に保守サービスに使われているわけではない。
極限作業ロボットの遠隔操作に使うという事例もよく耳にする。仮想物を重畳表示して訓練や予行演習するのに，実写とCGとの実時間合成が役に立つ。写真2は，スペースシャトルの後部実験室で，視界の悪い環境で（既知のモデルから抽出した）領域の輪郭を重畳して提示している例である。これもまたある種のARシステムである。
コンピュータの中に作った仮想環境を，対話式に実時間体験するのがVRのエッセンスであるならば，ARはそうしたVRの閉鎖性に対するアンチテーゼだと意義付けられている。仮想世界にはまり込んでしまい，現実世界に適応できなくなる情緒的障害も，現実世界に立脚するARなら問題は生じないという。
確かに，全視野を覆われてしまう遮閉型のHMD体験は，没入感は抜群だが平衡感覚や体性感覚にも悪影響がありそうだ。自分の足元が見えるARシステムなら，この問題はかなり解決できる。軽いシースルー機能を持たせたHMDが増えているのは，自分の手元・足元が少し見える安心感を考慮し始めたからである。
いわゆる１つのトレンド
ARについては，こうした視覚的なシースルーや重畳表示とは違った意味で使われることもある。ゼロックス社パロアルト研究所のM. ワイザーの提唱する「遍在型コンピューティング」(Ubiquitous Computing)もその1つである。「ユビキタス」とは一般にはあまり耳慣れない言葉だが，「あまねく」「いたるところに」計算能力や情報処理機能が備わるという考え方である。コンピュータとネットワークが進化して，オフィスや家庭で，電話機やコピー機や家電製品はいうまでもなく，机にドアにソファに，どこにでも知的な処理能力が入り込んでくるのだという。これは実世界を情報的に増強していることに相当し，だからこれもある種のARであるとされている。
ワイザーの哲学とでもいうべきこの考え方が披露されて久しいが，最近彼は（第4回でインタビューした）石井裕氏のTangible
Bitsこそその顕著な実現例だと語っている。Tangible Bitsの基本精神は，サイバースペースと人間との接点に，人間の直観に訴える物理的で親しみやすいインタフェースを用いることであった。風の流れ，水の音，環境光までもヒューマンインタフェースに取り入れようとしている。これは，仮想世界に実物感を持ち込んでいるようであるが，見方を変えれば，仮想環境から溢れ出る情報で現実世界が増強され，物理的な表現となって人に提示されている。なるほど，こう考えれば，これも新しいARの形態である。
ARというのは，明らかに広い意味でのVRの一部であり，VRの新しいトレンドでもある。これまでフルバーチャルの限られた仮想世界に没入すること，臨場感を高めることばかり考えていたのに，発想を変えて現実世界に目を転じてみれば，何だこちらをベースに考えてもいいじゃないかと思い始めたというところだろう。
ところが，この種の発想の変換が，思想めいたものになり，行き過ぎると「現実世界こそ尊い」「仮想世界は虚構であり，悪である」かのような宗教がかった言動にまで発展してしまいがちである。AR信奉者には，既にそのきらいがなきにしもあらずだが，そんなにご大層に考えずに，ARはいわゆる1つのトレンドくらいに考えていた方が健全だろう。
インターネットに代表される情報メディアの大発展によって，我々の体験・体感できる情報空間は驚くほど広がった。本シリーズで「第2のCS」と呼んだこのサイバースペースは，数値計算によって生み出される空想上の世界でも幻想体験の場でもない。もっと現実世界に近い営みを行える世界である。「電子化社会空間」と呼んだ所以である。この電脳空間を，実空間とは隔離して存在させるのでなく，むしろ両世界を継ぎ目なく融合させたいとする考え方が起こってきたのはごく自然なことである。
光学シースルーとビデオシースルー
現実世界と仮想世界の融合は，視覚だけに限らず，聴覚や触覚も含めて総合的に捉えうる研究テーマである。しかし，実際には視覚が突出して先行している。本シリーズは，電脳空間の可視化・映像化が主テーマであるから，視覚的な融合に絞り，話題をシースルー型HMDに戻そう。
シースルー（透過）型HMDというのは，眼鏡越しに今自分が立っている周囲の環境を眺め，そこにプリズムやハーフミラーなどの光学系を使って，電子的なディスプレイの映像を重ねる装置である。いわば網膜上で現実世界と仮想世界を重ね合せるのである。ガラス越しで若干光量は落ちるとはいえほぼナマの実世界と，よくなりつつあるとはいえディスプレイの映像とでは，実物感がまるで違うのは当然である。いかにも透けてみえるという感じなのである。
これに対して，遮閉型のHMDに小型TVカメラを取り付け，自分の目で見るべき外界をビデオ映像化し，仮想世界の映像とは電子的に合成してしまおうという方式が考案された。これを「ビデオシースルー方式」という。図で示すなら，図1のようになる。
透けて見えるのではないから「ビデオシースルー」というのは妙な言葉だが，言いたいことは分かるだろう。妙なことを考えつく人がいるものである。これは体験してみないとわからないだろうが，これを着けて周りを見廻すと実に妙な気分である。自分の手や足元や目の前の事物がビデオ映像化され，それを双眼鏡で覗き込んだような感覚である。初めてHMDをかけて粗いフルCGの仮想空間体験したのとは，また違った感覚である。
その代わり，画質的には現実世界と仮想世界の混ざり方はぐっとよくなる。一旦，現実世界を画像データとしてコンピュータに取り込み，そこで合成処理を施せばいいのだから，かなり融合のレベルを向上させられる。仮想世界側の可視化・映像化技術が進歩すればするほど，継ぎ目のない融合にとってこの方式は都合がいい。
1台のHMDで，遮閉型と透過型を兼ねることができる。シースルー用に設計されたHMDは，前面を黒いフードで覆えば簡単に遮閉型としても利用できる。光学系に工夫を凝らして，光の透過率を調節できる可変型のものも開発されている。
ビデオシースルーで重要なのは，使用者の視線方向に一致した映像が取れるかどうかである。既存のHMDに，これまた市販のTVカメラをつけただけでは，完全に目の代行をしているとはいえない。何やら，外科手術をして目の位置をずらしてしまったような感じになってしまう。HMDにLCD（液晶ディスプレイ）パネルを埋め込むなら，同様にCCDチップも埋め込んで，本当の目の位置から眺めたように設計するのが望ましい。
言葉遣いにご注意
ARのaugmentなんて言葉は前から知っていましたか？
いえ，全然知りませんでした。こんな言葉，他ではあまり使わないから，何のことかわかりませんでした。シースルーディスプレイの応用例を説明されるまでは，ARというコンセプトもピンときませんでした。Enhanced
Realityとか，Extended Realityじゃいけないんですか？
いいですよ。だけど，なるべく一般の人が知らない言葉を使った方が，ニューコンセプトだ，ニューパラダイムだと騒ぎたい人には好都合なんでしょう（笑）。
全く，tangibleやubiquitousなんて，難しい単語ばかり出てきて参ってしまいます。小さな英和辞典には載ってませんしね。
そこまででなくても，Electronic
PublishingよりもDesktop Publishing，Artificial RealityよりもVirtual Realityが生き残ったのは，何か新しく感じる響きが受け入れられたんでしょう。
「バーチャル」よりも最近は「サイバー」が優勢なのも同じですね。でも「遍在する」は，日本語でもわかりませんでした。「偏在する」かと思いました。
それじゃ意味が全く逆ですよ。「遍」は「あまねく」で，「偏」は「かたよる」ですから。ワイザーも頭を抱えちゃうだろうなあ（笑）。
Augmentを「オーギュメント」と発音する人も少なくないんですが，「オーグメント」ですよね。
もちろんです。日本人には発音しにくいのかな？「アーギュメント（argument）」と混同しているのかも知れませんね。
ARは最新のトレンドということですが，コンセプトは昔からあったんでしょう？
HMDの草創期，I.
サザーランドが1960年代にHMDの原型を作った頃から，シースルー型はあったようです。当時は，コンピュータ・パワーは貧弱で，ワイヤーフレームを重畳表示するのが精一杯でした。現実と仮想と対等に扱って，「継ぎ目なく」とか「ポジティブな混ざり方」なんて発言が出てくるのは，ひとえに仮想側の地位向上のおかげですよ（笑）。
では，もっとその対等合併をめざした「複合現実感」の方に行きましょうか。
3. Mixed Reality〜仮想と現実の融合
MRのスペクトルは連続
「複合現実感」というのは「Mixed Reality」の訳語であり，筆者らは基盤技術促進センターの出資事業である「複合現実感システムに関する試験研究」（通称，MRプロジェクト）に参加している。MRプロジェクトの推進母体として1997年1月に（株）MRシステム研究所が設立され，東京大学（廣瀬研究室），筑波大学（大田研究室），北海道大学（伊福部研究室）との共同研究体制で，2001年3月まで運営される。公的プロジェクトとしては，比較的短期決戦型である。
MRプロジェクト以外でも，「複合現実感」という言葉が少しずつ広がってきた。「現実世界と仮想世界を継ぎ目なく融合する」というコンセプトから，人それぞれにイマジネーションが湧き，そこから新しい研究開発課題が次々と発掘されているようである。
「複合現実感」は，MRプロジェクトで使ったのが最初であるが，原語のMixed Realityはこのプロジェクトのオリジナルではない。トロント大学のポール・ミルグラム教授が1993〜4年頃から提唱していたコンセプトがあり，それが採用されたのである。
ミルグラム氏の考えでは，ARに対置する概念としてAugmented Virtuality (AV)がある。コンピュータ内に構築される仮想世界を，我々の実在する現実世界の情報で強化するという考え方である。このAVとARを統合したのがMixed Reality (MR)なのである。
AVとARは，仮想世界と現実世界のどちらに軸足を置いているかの違いだが，実はその境界は明確ではない。図2に示すように，その間はスペクトル的に連続であり，その全体(Virtuality Continuum)を扱うのがMR技術だというのがミルグラム氏の説である。
MRプロジェクトでは，このミルグラム説を我々流に解釈して，次の4つのMR環境体験があると考えた。
A．光学シースルー方式
B．ビデオシースルー方式
この2つは，前述の通りである。もう2つある。
C．実時間テレプレゼンス方式
ビデオシースルーの概念を拡張し，体験者の周りの光景でなく遠隔地の光景（の実写映像）を用いる。遠隔地に配置した立体カメラを体験者の視点の移動に応じて移動させ，そこから得られる映像と仮想環境との融合を体験させる。
D．蓄積再生テレプレゼンス方式
Cの方法をさらに拡張して，現実世界を多数のカメラを同期して撮影した映像や，位置センサを取り付けたカメラを空間移動して収集した映像などを蓄積する。この映像データベースから，体験時に利用者の視点に応じた任意の光景を内挿処理によって生成し，仮想環境データと融合させる。
ARの原点は言うまでもなく方式Aである。写真2は方式Cの例である。このあたりからARとAVの区別が判然としなくなってくる。ネットワーク上に悠意的に構築された電脳空間は，仮想環境である。しかし，ネットワークの向こう側にある実世界を体験できる環境は「現実」なのか「仮想」なのか，どちらであろうか？ TVカメラで写しているそのままではなく，コンピュータ処理により情報加工されるとなると，どこまでが「現実」かは答えられなくなってくる。
方式Dとなると，これはもう明らかにAV側に属している。コンピュータのパワーが上がれば，この種の応用がどんどん進むに違いない。以上の4方式を合成方法，空間的・時間的利用形態から分類すると表1のようになる。ミルグラム説を裏付けるように，属性が段階的に変わっていることが分かるだろう。
解決すべき３つの課題
現実世界と仮想世界の融合は，実写とCGの合成と同義ではない。本シリーズでは，番外編や付録で再三にわたり紹介しているように，いま映像製作業界ではSFX技術としての実写とCGの合成が花盛りである。この場合は，時間をかけて1コマ1コマ手作業で仕上げても構わない。その職人芸こそが腕の見せどころとなっている。
一方，AR／MR技術の場合，現実空間と仮想空間の整合は実時間処理であり，かつ融合された複合現実環境とのインタラクションが前提となっている。これはVRから継承してきた条件である。受身で見る映画とは違い，その場で体験できなくてはならない。その上，単なるVR以上のものが求められている。当然，制約条件は厳しく実写画像の解像度も落ちる。まだ『ジュラシック・パーク』のT. レックス並みの恐竜と戯れることはできない。『タイタニック』が航行する夕暮れの海で泳ぐ気分になれるわけでもない。
計算量の問題で実時間処理の枠に収まらないのは，コンピュータが速くなればいずれ解決できる。CGの歴史がこのことを如実に物語っている。
現実空間と仮想空間の融合（重ね合わせ）には，もっと難しい問題が待ち構えている。
（a）空間的ずれの解消（幾何的整合性）
現実世界と仮想世界の空間座標を一致させ，観察者の位置・視点方向を正確に固定させ，観察視点の移動にも追随できる必要がある。
（b）画質的ずれの解消（光学的整合性）
仮想世界の映像化結果が，コントラスト，色調等の要因で現実世界との重畳・合成時に（なるべく）違和感が生じないよう対策が必要である。
（c）時間的ずれの解消（時間的整合性）
観察者の視点位置や方向の変化により，そのセンシングと仮想環境の描画時間の分だけ遅延が生じ，現実世界の変化に対して遅れが生じるので，これを極力軽減する必要がある。
光学シースルー方式では，(b)は本質的に問題があり，ビデオシースルー方式が有利であることは既に述べた。(c)については，それぞれの遅延時間を減少させる努力はするが，全くゼロにはできない。ビデオシースルー方式だと，実世界の映像を意図的に遅らせることで，仮想世界の映像と同期をとることができる。ただし，表示系全体を遅らせるので，アクションに対して反応が鈍くなり，いわゆる「VR酔い」を起こしやすくなる。
現実のモノサシに合わせる
3つの課題の中でも，まず第一に取り組まなくてはならないのは(a)の空間的な整合性である。初期のVRシステムは，フルCGの遮閉型の仮想空間体験であったから，多少空間が歪んでいようが，何となく物が掴めたり，歩き廻れたりできればそれでよかった。ARやMRでは，現実世界という絶対的なモノサシがあるから，ここにきちんと仮想世界を合わせ込まなければならない。現実世界の座標系と仮想世界の座標系を一致させ，かつそこに観察者の視点位置と方向をマッチさせる必要がある。一度合わせ込んだものが体験中にずれてくれば，これを動的に補正する必要もある。
ところが，HMDに付着する3次元位置センサ（トラッカ）は，それほど精度がよくない。磁気センサや超音波センサを用いることが多いが，これだけではAR／MRに十分な精度が得られない。そこで，複数のセンサを用いて，相補い合うことが試みられている。
ビデオシースルー方式では，撮り込んだ映像をコンピュータ処理できるから，この映像中の手がかり（ランドマーク）を使って位置合わせを行うことができる。即ち，予め空間座標中で3次元位置が既知な点を画像認識手法で検出できれば，そこから体験者の視点位置を補正できる。人が地図を見ながら位置を確認するのと同様に，HMDにつけたTVカメラがランドマークを検出し，今どこにいてどちらを向いているのかを正してくれるのである。
MRプロジェクトで，我々が開発したAR2(AR AiR)ホッケーを例にとって説明しよう。通常のエアホッケーはテーブルを挟んで2人のプレイヤが対峙し，マレットと呼ぶ手持ち器具で，テーブル上を滑るパックを打ち合い，相手のゴールに入れて得点を競うゲームである。AR2 ホッケーは，各プレイヤが光学シースルーHMDを装着し，仮想のパックを実物のマレットで打ち合うという設定である（写真3）。
このゲームは，単なるARシステムではなく，2人以上の参加者が実時間の共同作業を行うという協調型ARの事例として開発した。2人のプレイヤは実空間を共有すると同時に仮想空間も共有する。ここで空間的な位置合わせの問題は，1人用のARシステムよりもかなり複雑になる。
各プレイヤの視点位置と方向は，VRシステムではお馴染みのポヒマス・センサをHMDに付着している。マレットの動きは，マレットに埋め込まれた発光ダイオードが上方に向けて発する赤外線を，テーブルの真上に設置したCCDビデオカメラがキャッチして，その位置を検出する。この頭と手の動きの検出機構は，従来のVRシステムと変わりはない。
工夫を凝らしたのは，両空間の位置合わせである。対戦相手の動作は，光学シースルーHMDを透して視認する。その一方で，ビデオシースルーで用いるのと同様にHMDにカラーCCDカメラも付けている。このカメラは，テーブル上を映像としてとらえ，意図的に貼り付けたマーカー（ビニールテープの小片）を識別する（図3）。これを位置合わせの手がかりとし，ポヒマス・センサで計測したプレイヤの視点位置を実時間補正しているのである。光学シースルーとビデオシースルーの併用であり，物理的なトラッカと画像ベースの位置合わせ技術の併用もしている。
プロジェクト設立の背景
Mixed Realityを「複合現実感」と昔から言っていたのですか？
いえ，私がそう言い始めたのです。Mixなら「混合」の方が直訳なんだけど，「複合」の方が何となく語呂がよくて，高度な感じがするでしょう（笑）。
英語はARの方が優勢なのに，日本語は私たちの予想以上に「複合現実感」が伸びてきましたね。
商標に登録しておくべきだったかな（笑）。そうしたら皆さん使ってくれないでしょう。英語でVirtual
Realityなのが，日本語だと「仮想現実」より「人工現実」の方が好まれるのと同様，「拡張現実」より「複合現実」の方がいいんでしょう。
プロジェクトのテーマにどうしてMRが選ばれたのですか？
シースルーHMDを中心に何か面白そうな未来を感じるテーマはないかと，通産省からお声がかかったんです。シナリオ作りを手伝うだけのつもりだったのが，知らない間に私が立案・実行することになっていた（笑）。何しろ時間がなくてね。普通は何年もかけて準備するのに，2〜3週間で計画書を書かなきゃいけなかった。
なぜ，ARでなくMRになったんですか？
最初はARだったんです。でも，ARを標榜して「ユビキタス・コンピューティング」流のARもカバーするとなると，目標が散漫になる。短期のプロジェクトだから，あまりテーマ広げすぎるとよくないし，VRの発展形で視覚中心にやるなら，ミルグラム流のAVを包含したMRの方がバランスがいいなということになった。和製プロジェクトとして存在感をアピールできるキーワードも作らなきゃということで「複合現実感」で落ち着いたんです。
前から，ミルグラム氏の考えに共感してたんです。3次元画像メディアの研究をモデル系と非モデル系と称して，ちょうどAVを重視したことをやっていたから，彼のコンセプトを講演で聞いた時，「これだな」と感じていたんですよ。
技術評価のプラットフォームとして
AR2ホッケーは皆さん楽しんでプレイして帰られますが，これからどう発展させるんですか？
別に，これを下げてゲーム業界に殴り込む気はありません。様々なMRの要素技術を検証・評価するプラットホームだと思っているんです。だから，ゲームの形もどんどん変えていったって構わないんです。今の大人しい形のパックのままでなく，打ったら変形したり変身してもいいんです。点数が入ったら，今は歓声がするだけですが，ポンポン花火が上がったり，チアガールを躍らせたりしましょうか（笑）。
本物のエアホッケーの枠の中にとどまっている必要はありませんね。
触覚や力覚も入れたいし，バーチャル・プレイヤを作ってそれと対戦してもいい。本物とエージェントと2：2で混合ダブルスをやってもいい。これぞミクストペアです（笑）。
1つのパックにリアル・プレイヤとバーチャル・プレイヤが手を出すと，その管理はかなり難しくなりますね。
そうです。そういった協調動作の難しい問題を実時間の制限内にどこまで入れられるか，トータル・システムとして評価するのにいい課題なんです。
実はいま3次元空間同士を融合しているといっても，パックはマレット間を移動しているだけだから，相手のプレイヤの手前に合成されているだけです。前後関係を判定して，隠れを表現しているわけじゃないんです。
手元をすり抜けた時には，もう点数が入ってしまっているから，気がつかないんですね。
本物の腕と仮想の腕が交差してくるなら，その奥行き判定と隠れ処理を入れなきゃいけない。一般に，現実世界が静的なら，予めモデル化しておけば動的な仮想物はその間を行ったり来たりしても，前後関係の判定はできます。ところが，現実世界の人間や物が動いて仮想物の手前に出てくるとなると，こいつは厄介です。実時間でそれを計測できる装置がないと，前後判定ができないからです。
幾何学的に座標軸を合わせただけでは済まないんですね。
画質ずれの方も本格的に解消しようとすると，色調やコントラストを整合させるだけでなく，陰影も考えなくてはならないんです。影がついていないと，物が浮いてみえるんですね。照明が固定だと，決まった影をつけておけばいいけれど，現実世界の照明が変化した時，それに応じて仮想物が現実世界に落とす影や，その逆をどう処理するか難しい課題です。
写真4は，単光源を想定してつけた影と，この実環境の光源を推定し，そこから仮想物に作るであろう影との比較結果です。この計算は，まだ実時間処理するには重過ぎるんですが…。
それが瞬時にできるなら，照明のスイッチをパチンパチンやったら，すぐ結果が表れてくるんですね。これはウチの成果じゃありませんが，こういった関連研究がどんどん進んで行くのは嬉しいですね。
4. Augmented Virtuality〜仮想世界をもっとリアルに
3D空間を光線で記述する
もう一方のAV技術の動向も概観しておこう。
仮想世界を現実世界のデータで補強する。視覚処理の場には，CGデータ中心の仮想空間に，実写データを積極的に取り込むことになる。CG分野で昔から用いられているテクスチャ・マッピングはその最たるものである。幾何形状データの上に，予め計算してある模様パターンや写真を貼りつけるというのは，安易ではあるが，便利な方法だ。壁紙を貼りかえるかのような調子で，街並も食器の絵柄も立ちどころに変えられるのだから，ビジュアル・シミュレーションにとっては魔法の杖のごとき存在となった。
実時間でのテクスチャ・マッピングは，かつては高性能グラフィック・ワークステーションでしか実現できない機能であった。今では，家庭用ビデオゲームでもごく当り前の機能になってしまっている。
VRの分野でこの考え方を導入したのが，第3回で紹介されている「バーチャル・ドーム」である。全天周状のドームの内壁に実写画像を貼りつけ，HMDを装着してぐるっと見廻した時に，実物の空間に居るかのような感覚を与えようとしたのである。手法的には何も目新しくはないが，覗き込む小さなCG空間にいくつかテクスチャが貼ってあるのとは意味が違う。見渡す限り実写の空間の中に自分が入り込んで包み込まれるような感覚なのである。
アップル・コンピュータ社のQuickTime VRによるパノラマ空間は円筒面に多数の実写画像を貼りつけられる。カメラを回転させて撮った写真群をうまく貼り合わせてくれるところがミソである。VRという言葉はついているが，自由な視点移動はできない。その場で360°見回せるだけでる。いくつも円筒が用意してあって，それを飛び飛びに渡って行けば，VR空間を自由に移動しているような感じがするだけである。
幾何形状モデル（ポリゴン・データ）をもたずに，それでいて新しい視点位置の画像を予め用意されている画像群から再構成する一般的な方法が，東京大学の原島研究室で考え出された。3D空間の見え方は光線の集合で記述できるという考え方で，「光線空間」(ray space)と名づけられた。例えば，図4のようにある平面を横切るあらゆる光線をその位置と傾きで記述する。多数の写真を撮っておけば，それらに記録されている光線の情報から，別の視点の画像を再構成できるのである。
筆者らのグループは，数年前から原島研究室との共同研究で，ポリゴン・データと光線データを融合して管理・操作できるCyberMirageを開発した。1996年春のことである。写真5はその表示例である。ここでは衣服とぬいぐるみ人形が光線データである。光線空間理論は，複雑な形状や質感のある物体の表現に適している。
世界の檜舞台には出遅れた
同じ年の夏，SIGGRAPH '96での発表を知って驚いた。スタンフォード大学からLight Field Rendering，マイクロソフト社からLumigraphが公表された。光線空間の考え方と酷似していた。名前までが似ている。じっくり検討してみると，原理的に3者とも全く同じだということが判明した。1枚の基準面を通過する光線とその方向ではなく，2枚の板を横切る光線の2つの通過点で記述していることが違うだけである。4変数であることも同じだ。光線空間のアイデアは1993〜4年に溯るらしいが，彼らも完全に独立に同じことを考えていたのである。
メジャーな組織からメジャーな学会に発表されたのだから，その後の知名度は圧倒的な差がついてしまった。光線空間については，メジャー学会に英語論文を投稿していなかったのだから，世界に知られるわけがない。惜しい。きっとどの技術分野でも，欧米とわが国で同じようなことがこれまたいくつもあったことだろう。
Lumigraphの基本部分は，Light Fieldを借用しているので両者の基本原理は同じなのは当然だが，2つ揃って発表されたというのが強味だ。いつしか，この種の「実写画像活用型描画法」はImage-Based Rendering (IBR)と呼ばれるようになり，CG分野の最もホットな話題の1つになっている。
光線空間やLight Fieldは，全く形状モデルをもたない万能のIBR法であるが，膨大なデータを必要とするのが欠点である。ポリゴン・データを前提としたテクスチャ・マッピングはその反対の極にある。部分的に形状モデルをもちながら，IBRと呼べる手法が次々と開発されている。MRの定義（図2）と同様に，IBRにも様々なレベルが存在するのである。
IBRのうち，生成した画像でなく，現実世界から撮った実写映像を用いたものはAVと呼んでいいだろう。先に述べた方式DのMR体験は，まさにこのIBRに相当している。
現実世界が静的な場合は，多数枚の静止画群を撮りだめておけばよい。しかし，動的な物体も仮想世界に取り込み，これを任意の視点位置から見て再現しようとすると，大がかりな実世界入力装置が必要となる。カーネギーメロン大学の金出武雄教授が進めるVirtualized Realityは，51台のビデオカメラを配したドーム状の実空間内の出来事を，同数のVCRで映像として記録し，ここからコンピュータビジョン（CV）の手法で仮想世界を構築し，体験しようという試みである。現時点では，データ量も計算量も膨大なので，任意視点映像の実時間再構成はできない。しかし，動く対象物を扱うだけでなく，これをほぼ全自動でポリゴン化しようというのだから，最高レベルのAV技術をめざしているといえるだろう。
ようやくCV技術の活躍の場が
写真5じゃよく分からないかも知れませんが，大きなディスプレイに写して実物大にすると，光線データはかなり迫力あります。でも，光線空間の研究は，同じことを早くからやっていながら，世界にそう認識されていないのは残念ですね。
それだけ方向性は間違っていなかったし，日本のレベルも高かったと思うしかないですね。でも，光線空間ほど万能ではないけれど，その前に我々の作ったHoloMediaシステムはIBRの連中にもちゃんと参照されているんです。幾何データと光線データを融合したというのもCyberMirageが世界初でした。
SIGGRAPH '97で見たUCバークレイのFacadeも，実写写真からすばらしいビデオを作っていましたが，あれもIBRに入るんですか。
入るでしょう。幾何モデルと実写データの併用のかなり巧みな例ですね。View
dependent texture mappingという最適テクスチャを採用する方法を使っているようです。実時間でのMR体験というより，映像制作手法として注目されているようでしたね。
映画にはどんどんCGが入って行ってるのに，VRにはどんどん実写が入ってくるというのは面白い現象ですね。
でも，実写画像に安易に頼るというのは，テクスチャ・マッピングの時代から，CGの本流からすると邪道なんですよ。きちんとモデリングして，物理現象を記述しようともせずに，パシャパシャとシャッタを切るだけですから（笑）。
じゃあ，モーションキャプチャなんてのも同じく邪道ですか。
そうです。筋肉モデルを立てたり，運動方程式を解いたりせずに，手足を動かして，それをそのまま入れているだけ。良くいえば「コロンブスの卵」，悪くいえば「お手軽な何でもコピー」（笑）。
IBR手法としては，予めレンダリングした画像間を，warpingやmorphingで内挿するという方法も続々と出てきているみたいですね。もう，これらは実用域に達しているんですか？
実写画像間でそれをやろうとすると，対応点が既知でなきゃいかんわけです。じゃあ，誰がそれを与えるのかと。これを自動的にやろうとすると，CVの手法がいるんです。
ARのランドマーク認識や照明の推定も，CVの問題ですよね。VRはCGの活躍の場だったけれど，MRの時代になってCV技術への期待が大きくなってきましたね。
記憶のいい読者は覚えておられるかな？ 第1シリーズの92年9月号で金出先生のインタビューをやったんです。そこで出てきた言葉が，"putting
reality into virtual reality"でした。リアルワールドをバーチャルワールドに反映させるとも語っておられます。
それをミルグラム先生はAugmented
Virtualityと呼び，金出先生はVirtualized Realityと呼ばれるようになったんですね。
この部分の見出しが「バーチャルリアリティはビジョンの活躍の場」でした。ようやく，その実感が湧いてくる時代になりましたね。
5. ＭＲ技術の用途と可能性
では，この盛り上がりを見せているMR技術が，どういったところに使われ，世の中の役に立つのか，プロジェクトのディレクタさんに答えていただきましょう（笑）。
自分達の連載記事でなんて，話しにくいなぁ。お国のお金をもらっているのに当分役立ちませんとは言えないし，ホラ吹き過ぎると手前味噌だと笑われるだろうし…（笑）。
公式見解より，もうちょっと本音寄りでお願いします。
公式側からいうと，言いやすいのは医療分野でしょう。患者の上に体内の映像を重ね合わせて，診断や手術計画に利用するというのは，あちこちで試されています。
超音波像を妊婦に重ねて，お腹の赤ちゃんを見るという発表もありましたね。手術にも使っているんですか？
いえいえトンデモナイ。いまの位置合わせ精度じゃ，まだ危なくて使えません。数センチ横を切っただけでも大変ですよ（笑）。超音波以外は，実時間で映像が手に入るわけでもありません。
美術館や博物館のガイドにARシステムをという話なら，可能性は高いですね。案内表示を重ねてシースルーするのなら，観光地のガイドもできそうです。
大して位置精度も要らないし，データを重ねることは難しくないんです。街中なら，都合のよいランドマークも予め探しておけばいいですしね。むしろ，技術的課題は，可搬性のAR／MRシステムをどうやって作るか，ハードウェアの問題です。それだけのパワーのあるコンピュータを腰にぶら下げて歩けるのかと。
バッテリーだけでも相当重そうですね。
あるいは，コンピュータは基地に置いて，映像をワイヤレス通信するという方法も考えられます。いまメディアラボを中心にWearable
Computingが話題になりつつありますが，HMDを装着してシースルー・モードで歩くのは，その筆頭格の扱いです。
技術の進歩は早いから，時間の問題という感じですね。
あと，オーソドックスなところでは，建築分野や都市計画への利用でしょう。インテリアのARシミュレーションだとそう歩き廻らなくていいし，景観シミュレーションも現地にコンピュータを持ち込めるなら，現場に立ってこれから建てる建物を見るのも役立つでしょう。
緊急時の避難経路や消火栓の位置をARで重畳表示してくれるビデオも見ました。
緊急の時に，悠長にHMDをつけている暇などはないと思いますけれどね（笑）。避難訓練くらいには使えるかも知れません。それより，床下の配線や地中の配管を透視する方が有用です。
LANを張り替えたりするのも，いまじゃ結構面倒ですから，そういうツールがあると助かりますね。
本音ベースで，やはり一番マーケットとして期待するのは娯楽産業でしょう。ビデオゲームは，もうテクスチャ・マッピングを多用しているから，IBRのテクニックがどんどん入って行き，ますますリアルになるでしょう。
AR2ホッケーは別として，AR型のゲームは他に出てきそうですか？
技術が固まれば，若いクリエータ達がいくらでも考えてくれるんじゃないですか。私が思いつくものなら，シースルーHMDをかけて，仮想の敵にパンチや廻し蹴りを試せるARバーチャファイターなんてどうですか。これも周りの人に何をやってるか見えなきゃダメなのかな（笑）。
自分の手足を動かせるなら，ストレス解消にはなりますね。ゲーセンや家庭に入るより前に，MR技術はテーマパークのアトラクションに登場しそうに思います。
あと，AV技術を街１つといった広域にまで拡げ，電脳映像化した都市空間を自由に歩き廻ることを計画しています。そのためには，ワゴン車にカメラと各種位置センサを積んで系統的に街の景観を撮りだめています。これは廣瀬先生のアイデアなんですが，街並みのVRデータは歴史的な資産として後世に残せることになると思います。最後はちょっとオフィシャルな発言だったかな（笑）。
どうも有難うございました。
Dr. SPIDER（田村秀行）＆Yuko（若月裕子）
[(株)MRシステム研究所]
先月号の付録で『タイタニック』について述べたが，想像した以上にCGやディジタル合成を多用していたらしいという点について，ちょっと補足しておきたい。
一見してほとんど見抜けないくらい，細部に巧みにディジタル技術を使いまくっていたようである。
たとえば付写真1(c)である。実物大レプリカがあっても航行できないから，これはフルCGだと思っていた。夕暮れの空と海がリアルすぎたが，最新のCG技術なら何とかしたのだろうと思った。これはその通りだったのだが，船がミニチュア模型だったようだ。
デジタル・ドメイン社のCGグループは，この映画のためだけで5チームもあり，それぞれあらん限りの技を競い合ったようだ。その事情は，Computer Graphics World誌98年1月号に詳しく述べられている。特に力を入れたのは，船上の人物像と波や氷の表現のようだ。
総製作費260億円もかけた映画製作が終われば，そうそう人は要らなくなる。このすごいディジタル・ノウハウを体得した技術者やアーチスト達が，あちこちに散って行く。行先は，ビデオゲーム業界だろうか，ディジタルTV業界だろうか。いかにもアメリカらしい人の流れのダイナミズムである。
ただし，無類のSFX映画好きの私でも「たかが映画にここまで人・物・金をかけるのか…」と感じるのは，マルチメディア・ビジネスの本命をいまだ見つけられない製造業のひがみ根性のせいだろうか。
（
）
←前の回へ，↑目次へ，→次の回へ