第一回：ゲームと立体視映像技術

• 

• 　今回から新しく始まったこのページは、シリコンスタジオの活動を初め、ゲーム開発に関連した最新技術動向や業界動向などをコラム形式に紹介していくものです。
  　第一回目となる今回は、最近、目にすることの多い3D…それも立体視にまつわる話題です。
  　なお、今回の話題は、より詳細に深くまとめた物を「ゲームと立体視」のタイトルでシーエムシー出版の「月刊機能材料」4月号にも寄稿しています。今回のコラムで「ゲームと立体視」についてより詳しく知りたい人はそちらも参照してください。

• 

• ゲームと立体視映像技術

• 　ゲームは、映画などと同じエンターテインメントメディアですが、映画などと最も異なる点であり、優位な点は、ユーザーが操作をすることでメディアそのものがインタラクティブな反応を返すところにあります。
  　ゲームはユーザー本意の疑似体験が楽しめるインタラクティブなメディアとして進化してきた経緯があるため、その最終目標としてよく掲げられるのが「究極の没入感」です。
  　これを実現するための、ゲームをコンピュータサイエンスとして捉えた技術研究が、様々な方面で行われてきています。
  　高度なインタラクティブ性を実現するための物理シミュレーションシステム、リアルな映像体験を提供するための3Dグラフィックス技術、興味深い行動や手強い振る舞いをするAI技術、アンビエント感を演出する立体音響技術などは、特に近年大きな進化を見せている部分です。また、最近では、任天堂、ソニー、マイクロソフトなどの大手ゲームハードウェアメーカーは、さらなる「究極の没入感」を求め、全く新しいゲーム世界へのマン・マシン・インターフェースなどの研究も進めています。
  　そして、昨今、テレビメーカーがとりわけ注力しているのが立体視システムです。
  　その関係から「ゲームを立体視する」というテーマもにわかにゲーム業界で注目を集めつつあるようです。

パナソニックは2010年2月9日、世界初のフルハイビジョン3Dプラズマテレビ「VT2シリーズ」を発表。 4月より発売開始予定。

• 3Dゲームグラフィックスと立体視

• 　1994年に初代プレイステーション(PS)が登場して以降、据え置き型ゲーム機のグラフィックスの主流は3Dへと移行しました。最近では、そうした3Dグラフィックス技術は、携帯ゲーム機、携帯電話、カーナビなどのグラフィックスにも波及するほどです。
  　ところで、立体視の基本は「左目に左目の映像だけを見せて、右目だけに右目の映像を見せる」という考え方が基本であり、この考え方は極めて3Dゲームグラフィックスのレンダリング手法と親和性が高いといえます。
  　というのも、3Dゲームグラフィックスは、コンピュータ内部に構築した仮想空間上(シーン)に登場オブジェクト(キャラクタ、小道具、大道具)を配置し、そのシーンを描画する際には視点(カメラ)を設定し、そこから見た視界を描画する仕組みとなっているためです。
  　人間の左右の瞳の距離はおよそ5～7cm程度といわれ、左目の位置からの視界でそのシーンをレンダリングして、これをユーザー(プレイヤー)の左目だけに見せて、同様に左目の座標から5～7cm離した右目の位置からの視界でそのシーンをレンダリングし、これを右目に見せてやることで、そのシーンを立体的に見せることが出来ます。3Dゲームの世界は仮想空間とは言え、管理上は現実世界と同じ立体的な空間に立体的にオブジェクトを配置させた世界なので、立体視とは親和性が高いのです。
  　ただし、映画などと同様、ゲームの場合も、連続的な静止画を見せることでそのグラフィックスを「動く映像」としてユーザーに知覚させています。例えば映画ならば毎秒24枚のフレーム(コマ)を見せていますし、ゲームならば毎秒60枚のフレームを見せることまでが要求されます。
  　これを同フレームレートで立体視に対応させようとした場合、単位時間あたり左目用、右目用の2フレームを用意して、これを毎秒60フレーム(60fps)で表示していかなければなりません。つまり、毎秒120フレームの描画負荷がGPU(グラフィックスプロセッサ。3Dグラフィックスのレンダリング処理を行うプロセッサ)に掛かることになります。

• ゲームとフレームシーケンシャル方式

• 　ゲーム映像を立体的に見せようとする技術は1980年代から存在しており、この頃から採用頻度が高い立体視技術は「フレームシーケンシャル」方式になります。
  　フレームシーケンシャル法では、左目用の映像と右目用の映像を交互に順送りに表示し、これを(液晶)シャッター機構を搭載した立体視眼鏡で見ることで立体視が実現されます。具体的には立体視眼鏡の左目のシャッターが開いているときには左目用の映像を表示して左目にこれを見せ、逆に右目のシャッターが開いているときには右目用の映像を表示して右目にこれを見せます。この方式では、眼鏡側は必然的に電動駆動されるシャッター的メカニズムが必須となるため「アクティブグラス(眼鏡)」方式と呼ばれることもあります。
  　冒頭で紹介したパナソニックの3DプラズマテレビのVIERA VT2シリーズもこの方式です。
  　フレームシーケンシャル方式では単位時間あたりには片目でしか映像を見ていないため、ゲームプレイの際には暗い印象を受けることが多いのが弱点となります。また、表示応答速度が十分でない場合や映像表示と眼鏡側の左右の目のシャッターとの同期がずれることで反対側の目の映像が薄く映り込んでしまう「クロストーク」と常に背中合わせとなるのも不安材料といえるでしょう。

任天堂が1987年に発売したファミコン向け立体視システム「ファミコン3Dシステム」はフレームシーケンシャル方式を採用。 当時の希望小売価格は6000円。 接続ケーブルを自作し、当時のパソコンに転用する改造が流行した。

• 　フレームシーケンシャル方式をゲームシステムに応用するとなると、左右の目それぞれに見せるフレームを交互にレンダリングして表示するという原理の特性上、単位時間あたりに想定フレームレートの2倍で描画していかなければなりません。フレームレートと映像クオリティを維持しての立体視対応をさせる場合、前段でも述べたがGPUには2倍の負荷がかかります。GPU負荷に余裕がない場合は(前述したように)フレームレートを半分にするか、あるいは映像クオリティ(解像度や詳細度)を半分にする工夫が必要となるのです。

3Dゲームをフレームシーケンシャル方式に対応させる場合の考え方

• ゲームと偏光方式の立体視

• 　フレームシーケンシャル方式の長所と短所を補完し合う関係性にある立体視の仕組みが、「偏光方式」の立体視システムです。
  　このシステムでは、ディスプレイパネルの画素に1対1に相対する形で偏光フィルタを貼り込み、右目用の画素と左目用の画素とで出力光をそれぞれの偏光軸が90°違うように取り出すところがミソです。眼鏡側には逆側の目用の映像を透過させないように、やはり左目用のレンズと右目用のレンズとで偏光軸を90°変えたフィルタを貼りこんであります。
  　左目用の画素と右目用の画素は、走査線単位で互い違いにさせる「水平インターリーブ」方式が一般的で、この方式の立体視映像パネル技術に定評がある有沢製作所は、この水平インターリーブ式の偏光法立体視システムについて「Xpol」という商標を登録しており、慣例的に偏光方式を広義でXpol式と呼んだりすることがあります。

水平インターリーブ偏光方式の立体視システムの概念図

• こうした偏光方式の場合、眼鏡にアクティブ機構が不要で、左右の目用の映像が同時表示となり、さらに見る側も両目が同時に左右の目用の映像を見ることになりフレームシーケンシャル方式に比べて明るいという特徴があります。さらにいえば、偏光方式は、眼鏡に電動機構が必要なくなるため、眼鏡側のコストが安いというメリットもあります。なお、この偏光方式の眼鏡の構造的特徴から、この方式を特に特に「パッシブグラス方式」と呼ぶことがあります。
  　この偏光方式の立体視をゲームの映像表示に用いた場合はどうなるでしょうか。
  　ゲームシステム側でレンダリングする映像は、左右それぞれの目用の映像を縦解像度半分でレンダリングすればよいため、GPU負荷は、立体視ではない通常時と大差ないレベルに留められます。これはフレームシーケンシャル方式に対するアドバンテージといえるかも知れません。ただし、解像度が半分になる関係で、リアルタイムストラテジー(RTS)ゲームのような細かいユニットを操作するゲームはプレイしづらくなる可能性があります。同様に、アドベンチャーやRPGのような文字情報量の多いゲームも、表示の仕方を工夫しないと見づらくなるかもしれません。
  　さらに、眼鏡を掛けた状態で首をかしげたりした場合に、偏光軸がずれることで、クロストークが起こりうることも、偏光式の立体視の弱点として挙げることができるかもしれません。理想的な美しい立体像を知覚するためには視聴位置と視聴姿勢にある程度の制限が与えられるということになり、プレイヤーが動き回るようなゲームの立体視には向かないかもしけません。

レッドローバー社の「True3Di」はパッシブグラス・偏光方式でありながらフル解像度での立体視が可能。 また、立体視をキャンセルして2D表示のディスプレイ機器としても利用できる。

• ゲームと裸眼立体視

• 　立体視眼鏡を使用しない裸眼立体視の研究も進み、最近では一部民生向け製品も登場しつつあります。
  　現在、主流の裸眼立体視には大別して2タイプがあり、1つはマイクロレンズアレイ(MLA)やレンチキュラーレンズを使用したタイプです。MLA方式は日立製作所が、レンチキュラーレンズ方式はPhilipsが採用しています。
  　この方式では、液晶パネルの上にMLAやレンチキュラーレンズを配することで、右目からと左目からの視線がそれぞれ異なるピクセルを参照するようにして、それぞれのピクセルに左目用、右目用を描画してやることで、観測者に立体的な像を知覚させられます。

レンチキュラーレンズ方式の裸眼立体視の概念図

• もう一つは主流の裸眼立体視の方式は「パララックス・バリア(Parallax Barrier:視差障壁)方式」です。この方式では、視聴位置からの左右の目からの視線に対し、左目からの視線には左目用のピクセルだけ、右目からの視線には右目用のピクセルだけが見えるように最適化したスリットを液晶パネルに貼り付けることで視差を作り出し、立体映像を知覚させます。

パララックス・バリア方式の裸眼立体視の概念図

• 両者共に1枚の映像パネルで同時に左右の目用の画素を表示するので映像パネルの実解像度よりも、知覚される立体映像の解像度は低くなります。このため、偏光方式の立体視の紹介のところでも指摘しましたが、緻密な操作を要求するRTSゲームや、細かい文字情報が多いRPGなどとはあまり相性が良くないことが予想されます。
  　また、表示面と相対する正面位置で最も立体感が得られるように設計されている関係上、大勢での視聴には適しませんい。なので、1人プレイを前提するようなゲーム映像の立体視向けといえるかもしれません。とはいえ、立体視眼鏡を掛ける前出の2方式とは異なり、裸眼で立体視をカジュアルに楽しめる点では優れていると言えます。
  　こうした裸眼立体視の弱点としては、対応ディスプレイ/テレビ製品が裸眼立体視専用となってしまうところにもあります。もちろん、左右の目に向けて同一画素情報を描いてこれを見せることで通常の2D表示も行えなくもないですが、解像度が低下しての2D表示となってしまいます。
  　しかし、パララックスバリア方式においては、この映像パネルに貼り合わせたパララックスバリア部分そのものをアクティブ制御可能な白黒液晶で構成してしまうことで、バリア部が黒表示時にのみ裸眼立体視ディスプレイとし、白表示時には通常の映像パネルのフル解像度の2D表示が行えるように構成できる新世代のアイディアが提案されています。2D/3D兼用表示はゲーム向けに限らず、民生製品としてはとても重視されるため、この特長はレンチキュラーレンズ方式に対して大きな優位点だと言えるでしょう。

2D/3D両用のパララックスバリア方式を推進するニューサイト社は、この仕組みをノートPCにも適応できることをアピールした。 写真はASUS N10Jcベースの裸眼立体視対応ノートPC試作機。

• 立体視とゲームの今後を察する

• 　2009年はHDMI1.4の規格の策定が進み、この中に立体視に関わる仕様が盛り込まれたことから、2010年、家電メーカーは家電製品の立体視対応化に向けて積極的に動き出しています。冒頭で紹介したパナソニックの動きはまさに、その胎動の第一弾といったところでしょうか。

東芝は2010年秋に登場予定の次世代CELLレグザが立体視対応になると発表。 2Dコンテンツを3Dコンテンツに自動変換する仕組みも搭載すると予告。

International CES 2010のソニーブースでは、有機ELの立体視対応機が展示された。

International CES 2010にてLG電子は世界初の民生向け3Dプロジェクタ「CF3D」を発表。 立体視に対応した大画面ホームシアター機器も登場し始めてきた。

• 今回のコラムでは、主に外付けのテレビやディスプレイ装置を必要とした据え置き型ゲーム機やPCゲームにおける立体視の話題を取り扱ってきましたが、立体視ゲームプレイの普及は携帯ゲーム機の方にも可能性が多く眠っていると考えられます。
  　例えば、2D/3D兼用の裸眼立体視ディスプレイを備え付けた携帯ゲーム機を登場させれば、オールインワンシステムとしての立体視ゲームプレイ環境が提供できるため、PCや据え置き型ゲーム機のように立体視対応ディスプレイや、立体視眼鏡などの周辺機器を別途購入しなくて良い利点があります。携帯ゲーム機ならば、立体視に対応させた映像パネルサイズも小さく済ませられるので、初期コストも低く抑えられるでしょう。
  　マイクロディスプレイ内蔵型ゴーグルタイプの立体視システムはVuzix社などが今も精力的に製品開発をしており、これをゲーム機に組み合わせる…というアイディアも思いつきます。ゴーグルタイプのゲーム機は過去にバーチャルボーイの失敗例があるため、各ゲーム機メーカーは慎重になるでしょうが、技術が進化した現在ならば、こうしたゴーグルタイプの立体視システムを活用して、新しいゲームプレイ体験を提供できるかもしれません。
  　例えばマイクロディスプレイ内蔵型の立体視対応ゴーグルをシースルー両用に対応させられれば、現実世界の視界とゴーグル内表示のCGとを合成させて見ることができるので、拡張現実(AR)的なテーマのゲームを実現することが出来るはずです。
  　さらにこれにヘッド・トラッキングの仕組みを実装すれば、より可能性は広がります。例えば、プレイヤーの頭の向きや方向に合わせてリアルタイムの立体視対応3Dグラフィックスを表示させれば、ゲームプレイ体験として、固定設置されたディスプレイを直視する立体視よりも圧倒的な没入感が与えられます。ちなみに、Vuzix社のゴーグルタイプの立体視ディスプレイは6軸加速度センサー、方位センサーなどのオプションが設定されており、ヘッドトラッキングは既に対応済みです。

Vuzix社はマイクロディスプレイ内蔵の立体視対応ゴーグル製品を数多く手がけている。 最新モデルにはハイビジョン解像度やシースルーにも対応。

• また、ゲームにおける立体視は、新しいユーザー・インターフェースの実現を可能にするとして期待もされています。現在、ソニーやマイクロソフトはプレイヤーの身体の動きやアクションを読み取ってゲーム世界に反映させるモーショントラッキングシステムを開発中で2010年の発売を計画していますが、こうしたシステムは、ゴーグルタイプの立体視システムと組み合わせることで、ゲーム世界との直接的な疑似インタラクションの実現を可能することでしょう。
  　最後の最後は話が「バーチャルリアリティ寄り」に行ってしまいましたが、いずれにせよ、ゲームと立体視は、「現状の3Dゲームグラフィックスをただ立体的に見せるだけ」の立体視が定着した先に、きっとゲーム性そのものに立体視を組み込むような進化を目指すに違いありません。

マイクロソフトが発表した「プロジェクトNATAL」も現行Xbox360に対応する新インターフェースで、こちらは人体全体を入力デバイスとする。 2010年内にXbox360向けに発売予定

ソニーが発表した「プレイステーション・モーションコントローラ」(PSMC)は現行PS3に対応するもので、wiiリモコンと同程度の小型スティックタイプのコントローラを手でもって振りかざすことでプレイヤーの動きをPS3へと入力する。 2010年内にPS3向けに発売予定

• 

• シリコンスタジオ株式会社について

• シリコンスタジオ株式会社（シリコンスタジオ）は、エンターテイメントの業界で、デジタルコンテンツに関する事業を幅広く展開するために2000年1月1日に設立されました。シリコンスタジオは2009年、新たなCIと共にエンターテイメントの一歩先をいく「EnterNext」を掲げ、より積極的に、より発展的に、エンターテイメントの新たな可能性と価値を生みだしていきます。シリコンスタジオは、レンダリング技術のリサーチ＆デベロプメント、ゲームコンテンツ開発、コンテンツ制作環境やプロフェッショナル映像システムのインテグレーションとデジタルクリエイター派遣の4事業を中心に、業界最高峰の技術提供を行いながら、“創る人”、“愉しむ人”に感動を与えられる企業を目指しております。

• 「 PLAYSTATION3」は株式会社ソニー・コンピュータエンタテインメントの登録商標です。
• 「XBOX360」は米国 Microsoft Corporationの米国及びその他の国における登録商標または商標です。
• 「Wii」は任天堂の登録商標です。
• その他、記載されている会社名、製品名は、各社の登録商標または商標です。