テクニカル・インサイト

文字のサイズ
2010年11月1日

第五回:拡張現実と複合現実の世界
その②

  • コンピュータエンターテイメントやコンピュータゲームの新しいジャンルとして注目されているものにAR(Augumented Reality;拡張現実)とMR(Mixed Reality;複合現実)といったものがあります。
    今回は、このARやMRにスポットをあててみたいと思います。
  • 続き・・・
  • 仮想世界からのフィードバックを
    現実世界からの刺激で代用するMR~「Daichi's artworking」
  • VRを用いた訓練システムや疑似体験システムで難しいのは、仮想世界からのフィードバックをどう再現するかという部分です。これについては触覚学(HAPTICS)と呼ばれるような、VR被験者に疑似的な触感をフィードバックする研究がありますが、進化は著しいものの、まだまだ発展途上であり基礎研究が行われているレベルです。  そこで、有用になるのが、MR的なアプローチです。つまり、仮想世界へインタラクションした際のフィードバックや、仮想世界側から被験者に向けてのインタラクションは、現実世界の実体物を利用してしまおう…ということです。
    立命館大学の研究グループがSIGGRAPH ASIA 2009で発表した「Daichi's artworking」は、このタイプのMRと言うことが出来ます。  このDaichi's artworkingは、MR的アプローチでお絵描きや工作が楽しめるシステムで、数々の実体物アイテムを使いこなして、バーチャル世界に作品を作り出せる体験になっています。 HMDを装着した被験者から見える視界は、自分の身体や腕、手も見える状態で、いわゆるAR、MRの基本状態、被験者の一人称視点そのものになります。

    「Daichi's artworking」のイメージ図
    お絵描き体験では、被験者が絵筆型のコントローラを手に取る事で開始され、HMDから見た視界に、様々な色のバーチャル絵の具が並んだバーチャルなパレットが机の上に出現します。 パレット上のバーチャル絵の具を絵筆コントローラで筆先に取れば、これで色を絵筆デバイスに染み込ませたこととなり、現実世界側の様々な立体物にその色で絵を描くことができるようになります。バーチャル絵の具で絵が描かれた絵画は、HMDを通して見る限りは、ちゃんと実体物に的確に合成されて見えるため、本当に実体物に描かれているように見えます。その実体物を手にとり、その作品を様々な角度から見て楽しむことも出来ます。
    このユニークなMR体験、基本的な仕組みは前出のKAIDANとよく似ています。
    キャンバスのような平面への描画だけではなく、皿や木造オモチャなどの立体物に対してのお絵描きができるのは、各種オブジェクトのモデル形状がホストコンピュータに事前登録してあるからで、また手に取った各種オブシェクトの識別は、その内部に仕込まれたタグ情報の判別によって行われます。現実世界側の実体物の形状モデルを事前に把握しておき、現実世界とCGとをつじつまの合う形で合成して見せるやり方はKAIDANと同じですね。
    絵筆コントローラの仕組みはなかなか凝っていて、筆先の細かな動きは正確にシステム側が取得するため、筆先の反り返し表現など、絵筆らしいリアルな"塗り"や筆特有の軌跡までをも描くことができるようになっていました。なお、絵筆コントローラの位置姿勢検出は磁気センサによって行われており、筆先の動き検出は、筆先内部に仕込まれた芯棒が、筆の柄の部分に備え付けられた小型アナログスティックを動かすことで検出される仕組みになっています。
Bruch_Mecha
絵筆コントローラの仕組み。 筆先の内部は柔らかい樹脂材質でできており、
描く対象物にコンタクトすると、筆先が本物の絵筆のように曲がる構造になっている。
Bruch_Mecha2
実際の体験の様子。
  • 主題となる画を描く…という行為/体験自体はバーチャル次元で行われるのですが、実際に実体物の各種オブジェクトを手に取ったり、絵筆を実体物にコンタクトして動かしたり、その時の触感などの各種フィードバックは実体験そのものになるのが、このタイプのMR体験の特長です。テーマパークのライド系CGアトラクションも、加速や横Gがかかる表現は、油圧などでシートを実際に傾けて実践していますから、ある意味、このタイプのMRと言うことが出来るかも知れません。
    • 現実世界から仮想世界に積極的に
      インタラクションするMRの形~「タンジブル・インタフェース」
    CGはあくまでコンピュータの中で作り出されたものであり、現実世界には実体として存在しません。これを現実世界に実体として具現化させてインタラクトできるようにしたり、あるいは現実世界側の実体物を動かすことで直観的かつ直接的にコンピュータ側の仮想世界へインタラクトするインタフェースを「タンジブル・インタフェース」(Tangible Interface;TI)といいます。 MRやARとは種類が異なるとも言われますが、アプローチと目的が違うだけで、技術的にはある意味同列として捉えることができます。
    電気通信大学の研究グループが開発した「Bouncing Star」(跳ね星)は、TIをゲームに応用した技術です。Bouncing Starは、キラキラと輝くLEDを内蔵した直径10cmほどのボールで、これを床に投げることで、床面に描かれたコンピュータグラフィックス世界にインタラクトできるようなシステムになっています。 現在までに、このBouncing Starを使った様々なゲーム(スポーツ)を開発してきており、中でも分かりやすいのが「ブロック崩し」です。床に描き出されたCGのブロックに向けてBouncing Starを投げると、そのバウンドした箇所のブロックが消えていき、その消したブロックの数を競うというゲーム内容になっています。
AR_UTSUSHIOMI
「Bouncing Star」は一見すると光るスーパーボールのようだ。
  • このシステムではHMDを使わず、被験者が基準とするのは現実"視界"で、ここに描き出されたCG世界に対し、CG世界と現実世界を繋ぐTIデバイスであるBouncing Starを用いて、CG世界と現実世界の双方にインタラクトする…という仕組みになっています。
    Bouncing Star内部には6面体状の基板が仕込まれており、ここにフルカラーRGBのLED、赤外線LED、バッテリー、制御マイコン、加速度センサー、Bluetoothモジュールなどが組み込まれています。ボールを弾ませたり、蹴ったりといった衝撃を加速度センサーが感知し、その衝撃に応じてLEDの発光パターンを内蔵マイコンが切り換える仕組みを採っています。 ボールの位置情報やバウンス情報は、ボール内部に6方向に向けて実装された赤外線LED発光を高速度250fps撮影可能な赤外線カメラで捉えることでリアルタイム算出します。 こうして取得したBouncing Starの情報を、仮想空間側に射影することが出来れば、あとのゲーム処理は普通のコンピュータゲームの処理と変わりはありません。 なお、床面に描き出されるゲームフィールドは上空に設置されたプロジェクタからの投影映像によるもので別段変わったモノではありません。
AR_SpaceBall
Bouncing Starを使ったブロック崩しゲーム。
AR_SpaceBall_Game
Bouncing Starを使ったボーリングのような的当てゲーム。
  • また、東京大学研究グループがSIGGRAPH2003にて発表した「THE DIMENSION BOOK」も、TIの一種と言えるかも知れません。 DIMENSION BOOKの基本コンセプトはその名の通り“本”なのですが、被験者は表示されるページを読むのではなく、それに対して干渉することを楽しむエンターテインメントです。
    例えば、DIMENSION BOOKに懐中電灯を当てると、その光が画面の中のCG世界に到達し、CG世界側の暗くてよく見えないところを明るく照らすことが出来ます。 DIMENSION BOOKに息を吹きかければ、CG世界の蝋燭の火が消えますし、揺らしたり傾けたりするとCG世界も揺れたり傾いたりします。 当時の展示では、迷路の中を転がるボールをゴールに導くゲームや、錯視立体図の本当の形状を確認したりする遊びを体験することが出来ました。
(左)懐中電灯でDIMENSION BOOKを照らすとちゃんとそこに表示されているCG世界も
その光の向きと強さに配慮して明るくなる。 懐中電灯側にタネも仕掛けもなし。
(右)球転がしゲームをプレイしている様子。DIMENSION BOOKを傾ける事でボールは転がる。
(中央下)息を吹きかけることでDIMENSION BOOKの中の蝋燭の火を消すことが出来る。
  • このDIMENSION BOOKの仕組みは、種を明かせば意外にシンプルです。
    現実世界から照らされた懐中電灯の光の検出は、ディスプレイ部四隅に取り付けられた光学センサーが光量を察知し、その光量分布から光源ベクトルと光源の強さを算出して、CG世界に反映させています。 吹きかけた息の検出はやはりディスプレイ部に仕掛けられた風量センサーによるもので、傾きや揺れはディスプレイ部背面側に設置されたジャイロセンサー、磁気センサー、加速度センサーなどによって行われます。
    ARやMRと非常によく似ているが、何となく違うような感じもする、このTIは、今後、全く新しいコンピュータエンターテインメントに発展するかも知れませんね。
(左)中央にあるのが風量センサー。両端に見えるのが光量センサー。 光量センサーは下部両端にも付いている。
(右)制御マイコンや各種センサーなどを実装した基板はディスプレイ部の背面側に実装されている。
  • おわりに
  • 2010年9月29日、任天堂は裸眼立体視に対応した携帯ゲーム機「ニンテンドー3DS」を発表しました。
    この3DSには、ARを題材にしたゲーム「ARゲームズ」がプリインストールされています。
    3DSには2眼の3D撮影可能なカメラが搭載されており、マトリクスコードのような図柄が描かれたARカードを、このカメラを通して見ると、現実世界側にはなにもないのに、3DS画面に映し出された現実世界の情景には、そのカードの位置からモンスターが出現しているように見えます。ユーザーは、カードが3DSの画面から外れないように3DSを持ったまま、このモンスターの弱点を探すためにカードの周りを動き回ることになります。弱点を探す事ができたら、ユーザーはその立ち位置から弱点に照準を合わせて魔法弾を放って攻撃を仕掛けます。ダメージを喰らったモンスターは、弱点を覆い隠すために姿勢を変えてしまうので、ユーザーは再び3DSを持ったままカードの周りを歩き回ることになり…以下その繰り返し…というのがゲームの内容です。
    3DSを通して見た現実世界にだけモンスターが表示されるというのは、まさにARならではのゲームプレイといった感じです。
3DS
任天堂「ニンテンドー3DS」は2011年2月26日に2万5000円で発売されると発表された。
3DS
ARカードを3DSで撮影。
3DS
3DSを通してみた現実情景に的が出現。
  • なお、このARゲームズの技術的な仕組みですが、本稿でここまで述べてきた内容を理解できた人にはもはや説明不要かも知れませんが、一応解説しておきますと、ARカードの寸法や図柄は3DS側であらかじめ把握しているので、リアルタイム撮影して取得された映像中のカードの形状の歪み方(パースの付き方)で、カードが置かれている現実世界の床(机)の距離や傾きなどが分かります。この情報を元にCGを生成し、リアルタイム撮影されている現実情景の映像に合成することで、AR表現を実現しているのです。
    AR的なゲーム…というとなんかとても未来的な感じがしますが、もうすぐ携帯ゲーム機でプレイすることが出来てしまうんですね。
    テクニカルインサイトE3編でも述べましたが、今後はPS3、Xbox360といった据え置き型ゲーム機で、立体視とカメラデバイスを組み合わせたモーションコントロールシステム(MCS)によるゲーム環境が本格始動します。 つまり、今後、本稿で紹介したようなAR、MR、あるいはTI的なゲームは、据え置き型ゲーム機でも、技術的には実現出来るようになります。そうしたゲームが主流になるかどうかは分かりませんが、新しいゲーム体験のヒントとして、AR、MR、TIといった新概念が注目されていくことは間違いないでしょう。
next page
関連情報
本文に関するお問い合わせ先
シリコンスタジオ株式会社
〒150-0013 東京都渋谷区恵比寿1-21-3
コーポレートパブリックリレーションズ
担当:山下
お問い合わせフォーム