最近ではyoutube等の動画コンテンツでも見かけます「360°」映像はご存じでしょう。これは専用のカメラで撮影された映像で、名前の通り上下左右360°の方向の映像が楽しめるコンテンツになってますね。スマホだけでも指の操作で楽しむ事が出来ますが、VRのHMD(ヘッドマウントディスプレイ)があれば、本格的にVRの世界観、つまり「仮想現実」の世界を体感する事が出来ます。今回は今後更に身近な存在になるであろうVR(仮想現実)、AR(拡張現実)、MR(複合現実)、SR(代替現実)、について、基本的な仕組みを記したいとい思います。
VR(仮想現実)
立体表示
専用のHMDを装着する事で、目の前に現実的な世界を再現する事が可能になります。よりリアルな表現を可能にする為に、人間の目の働きを参考にした作りになっています。これは人が右目、左目の両目で見る事で立体感が得られる原理を利用したもので、HMDのディスプレイにも右目用、左目用の2画面が表示されています。ただし、表示される画面は平面ですので、目とディスプレイの間にレンズを入れる事によって立体感が生まれる仕組みになっています。
映像データ
大きく分けて２つあります。
１・スマートフォン
レンズのみ装着された専用ゴーグル(Gear VR,Google Cardboard等)にスマホをセットし、スマホでVR専用の映像データを再生（youtube,VRアプリ等)。ゴーグルの価格は安価で、手軽にVRを楽しむ事が可能。
※スマホVRの記事はコチラ→スマホVR「Canbor VR1006」使い方とレビュー。VR初心者は満足間違いなし！
２・ゲーム機・パソコン
ディスプレイがゴーグルと一式のタイプであり、VR表示に特化している。映像データはパソコンやゲーム機から入力する為、高画質なVRを体験できる。ただし大きなデータのやり取りとなる為、基本有線での接続となり、配線が邪魔になる。またパソコンはある程度のスペックが求められるし、HMD自体も高価な買い物となる。主なHMDは、ゲーム機ではPSVR、PCではHTC Vive等が有名。
360°表示
入力の映像データが360°に対応しているので、たとえば入力データがフルHDである場合、（例）1920×1080×24(色)×60(フレーム)×0.006（H.246圧縮）＝約18Mbps が全体の画像（毎秒）のデータ量になります。球体の画像を広げて全体を見る感じを想像すると分かり易いですが、VRで見ているのはその広げた画像の一部分を拡大して見ているような感じになります。つまりデジタルズームした感じになるので、入力の解像度によっては粗く見えてしまいます。
視野の移動については、スマホ、若しくはHMDに搭載されている加速度センサー（速度変化）とジャイロセンサー（角度変化）が使われています。加速度センサーは主にX,Y,Z,の3軸方向への速度変化を検知します。ジャイロセンサーは傾きを検知します。２つが合わさると速度と傾きを感知する「6軸センサー」となり、視野の移動（HMDの向きと画像のリンク）を再現させます。また、赤外線センサーを使用したトラッキングという技術も採用されており、人の移動も画像に反映することが出来ます。
視野角については100°～200°等、製品によって異なります。
あと、フレームレートについては、視野が移動した際にムラなく表示できるレベルが９０と言われています。ですので、全体的に画質を良くするためには高解像度、高フレームレートが必須となる為、データ容量も莫大な量が求められます。
AR(拡張現実)
ARとは、現実の世界に仮想的な要素を盛り込む技術です。代表的なものとして少し前に流行った「ポケモンｇｏ」がありますね。GPSと連動したゲームアプリで、実際の街並みをデバイスに映し出し、その中でポケモンのキャラクターを出現させる。正にARの要素がつまった作品でした。
VRでは主にHMDを使用しますが、ARでは今の所スマホ単体での利用が進んでいます。カメラに映ってるお店に名前が出るとか、どちらかと言うとスマホアプリとの連携が進んでますね。
今はないけど、例えばメガネなんかにAR機能がついたりしたらカンニングし放題（他の用途で使うだろうけど）。これはすぐにでも出来そうな技術ですよね。。
MR(複合現実)
MRはVRとARを統合させた技術で、つまり現実と非現実が混じり合う世界を表現できるものですね。多分こういう技術が進むともう現実と非現実の区別がつかない世界がやってきそうですね。なんか怖くなってきたけど。
今、代表的なもので「Microsoft HoloLens」があります。これも近未来的ですごい製品ですね。
専用のHMDを装着すると、目の前に仮想的にアプリケーションが浮き出てくるそうです。名前のとおりですね、ホログラムの時代がやってきました。そのアプリを簡単なジェスチャーで実行したり、音声コマンドでも操作可能。これ、ゆくゆくは例えばだけど、パソコンやスマホの代わりにもなり得ますよね。ホログラムと音声で操作、データはクラウド、デバイスはメガネ。すごくないですか？
SR(代替現実)
どんどんややこしくなってきましたが、SRとは、過去の世界を、現実世界のように見せる技術の事です。たとえば、今見えている現実世界に、過去に撮った世界を重ねて表示させる事で、過去に起こった出来事があたかも現在起こっているかのように錯覚させる事が出来る技術です。
これはちょっと難解ですね。
まとめ
VRが出始めて数年経ちますが、更にどんどんと技術が発展してます。VRは無線で出来る製品が出てきてるし、5Gが普及し始めたら大容量の無線通信が可能になって、ライブ映像とかも自宅でVRで楽しめる日が来るでしょう。ARも進化してるでしょうし。SRの代替現実ってのも、色々使い道が出来そうですね。
というかMRで全部まかなえるのかも。言ったらVRとARの上位互換的な存在ですから。次の大革命はすぐそこにやってきているかもしれません。
ちなみに、VR,AR,MR,SR,を総称して「XR」と呼ぶらしいです。
