가상현실

Virtual Reality

HTC Vive 플레이 영상. 익히 알려진 현실에서의 HMD형 가상현실.

매트릭스 트릴로지의 한 장면. SF에서 등장하는 모든 오감을 연결하는 뇌-컴퓨터 인터페이스형 가상 현실.

1. 개요

가상현실의 기본 개념은 ‘실제와 유사하지만 실제가 아닌 인공 환경’을 의미한다. 따라서 넓은 의미로 보면 플라이트 시뮬레이터 등의 시뮬레이션, 세컨드 라이프 등의 게임과 같은 시각매체 역시 가상현실에 포함될 수 있다. 하지만 일반적으로 가상현실이라 말하면 단순히 가상의 공간을 구현하는 것을 넘어서서, 사용자의 오감에 직접적으로 작용하여 실제에 근접한 공간적, 시간적인 체험을 가능하게 하는 기술을 의미한다.

2. 용어에 대하여[편집]

‘가상현실’이라는 말을 가만히 들여다보면 다소 독특한 의미를 볼 수 있다. ‘현실’이란 ‘실제로 사물이 존재하거나 현상이 펼쳐지는 실제하는(것처럼 보이는) 세계’를 의미한다. 그런데 ‘가상’은 ‘실재하지 않으나 거짓으로 지은 것’을 뜻한다. 이를 종합하면 ‘실재하지 않으나 거짓으로 지은 실재하는 세계’, 중간의 수식어를 빼면 실재하지 않으나 실재하는 세계가 된다. 이를 고려해 일각에서는 ‘가상 세계’라고 쓰기도 한다. 그러나 다른 관점에서 본다면 납득할 만한 용어인데, ‘가상 현실’이 ‘가상으로 만들어 실제로 보고 듣고 느낄 수 있게 한 세계’라는 점을 생각해 보자. 비록 그 실체는 꾸며낸 세계이지만 한편으로는 분명히 눈에 보이고 소리도 들리며, 기술이 발전하면 감각으로 느낄 수도 있을 것이다. 이는 사용자의 착각이 아니라 정말로 감각을 통해 느껴지는 것이므로 ‘실재하는 세계(현실)’이다. 이렇게 해석해 보면 ‘가상 현실’도 이상한 말은 아니다.

3. 역사

가상현실이라는 개념의 등장은 19세기로 거슬러 올라간다. 다름아닌 1852년에 개발되었으며 오늘날 3D 디스플레이 기술의 근원이 되는 스트레오스코피 기술이 그것이다. 한편 문학 쪽에서는 이외에도 올더스 헉슬리가 1932년 발표한 SF 디스토피아 소설 멋진 신세계 에서도 역시 촉감영화라고 하는 가상현실에 가까운 개념이 짧게나마 등장한다. 하지만 단순히 시각적 몰입감에서 그치지 않고 오감을 자극하는 가상현실에 대한 상세한 개념이 등장한 시점을 따지자면 미국의 SF 작가 스탠리 G. 와인바움이 1935년에 서술한 ‘피그말리온 안경(Pygmalion’s Spectacles)’을 최초로 볼 수 있다. 해당 작품에는 홀로그램 기술과 촉각, 후각의 가상현실화에 대한 직접적 묘사가 포함되어 있다.

세계 최초의 ‘가상현실 기술’의 원천은 1968년 미국 유타 대학의 이반 서덜랜드가 헤드 마운트 디스플레이(HMD)를 연구하면서 시작되었다. 본격적으로 가상현실 기술이 발전 및 사용되기 시작한 것은 1년 뒤인 1969년 미국항공우주국(NASA)에서 아폴로 계획을 진행하면서 승무원들을 훈련시킬 컴퓨터 상호작용 반응 시스템을 구축하면서부터다. 하지만 정작 ‘가상현실(Virtual Reality)’라는 단어가 대중화된 것은 매우 늦은 1985년이었다.

이후 1980년대 말~1990년대 말에 가상현실 기술에 대한 대중의 관심은 극도로 고조되었다. 1989년에는 가상현실에 대해 다룬 SF 걸작 공각기동대의 등장을 시작으로 1990년대에는 매트릭스, 토탈 리콜 등 대중문화에서 가상현실을 소재로 한 작품들이 계속해서 등장하게 된다. 흔히 생각하는 ‘HMD, 촉각 장갑, 후각 시뮬레이터를 이용하여 즐기는 가상현실’이라는 이미지 역시 바로 이 때에 확립된 것. 가상현실에 대한 기술적, 사회적 이미지는 사실상 이 시기에 정립되었다고 봐도 과언이 아니라 할 수 있다.

하지만 그럼에도 불구하고 가상현실 기술은 대중화되기에는 여전히 넘어야 할 벽이 너무 많았으며, 기술적 여건을 무시하고 대중의 기대에 무리해서 발매한 기기들은 모두 버추얼 보이같은 실패작에 불과했다. 그런 이유로 2000년대 초반에 오면서 가상현실 기술에 대한 관심은 한동안 다시 사그라들게 된다.

가상현실 기술에 대한 대중의 수요 및 관심이 다시 증폭된 것은 다름아닌 서브컬쳐 문화의 발전에 따른 것이다. 2007년부터 크라이시스를 필두로 하여 3D 게임 그래픽의 급격한 발전, .hack이나 소드 아트 온라인 등 대중의 무관심에도 불구하고 꾸준히 다루어진 가상현실 게임에 대한 서브컬쳐계의 수요 등이 가상현실 시장에 대한 수요에 복합적으로 작용하였다고 볼 수 있으며, 결정적으로 2015년 기어 VR, 2016년 오큘러스 리프트, HTC Vive, 플레이스테이션 VR을 필두로 일반 소비자용 가상현실 주변기기들이 현실적인 가격대로 구매할 수 있는 환경이 갖추어진 것이 가장 영향이 크다 할 수 있다.[1]

VR의 어원 및 프로토타입에 대해 정리한 글을 링크하니 관심있는 위키러들은 참고해볼 것. 1900년대 초반부터 최근까지의 내용이 정리되어 있다.
VR의 어원과 프로토타입의 역사

4. 기술

가상현실 구현에 필요한 세 가지 요소는 3차원 공간성, 실시간 상호작용, 그리고 몰입성이다. 각 요소 구현을 위해서는 컴퓨터 그래픽 기술, 네트워크 통신 기술, 그리고 HMD 등 오감을 자극하는 다수의 입출력 장치 개발기술에 의해 확립되고 발전될 수 있다.

네트워크 통신 기술이 사실상 현재의 기술력만으로도 가상현실 구현에 어려움이 없음을 고려할 때에, 실질적으로 가상현실 구현을 위해 발전이 필요한 기술은 컴퓨터 그래픽 기술과 입출력 장치 기술이라고 볼 수 있다.

4.1. 가상현실 데이터

4.1.1. 리얼타임 3D 렌더링

가상현실은 기본적으로 사용자와의 상호작용을 기본 요소로 하며, 카메라 등을 이용한 비 렌더링 영상기술이나 오랜 연산시간을 필요로 하는 프리렌더링 기술은 고려할 수 없다. 따라서 가상현실의 3D 공간 구현은 전적으로 리얼 타임 렌더링 기술에 의존한다.
리얼 타임 렌더링 기술의 현실성과 성능을 판가름하는 요소는 매우 다양하나, 기본적으로는 해상도, 폴리곤, 텍스처, 쉐이더의 4가지 요소를 생각할 수 있다.

4.1.1.1. 해상도

 

출력되는 이미지의 선명도의 정도를 나타낸다. 화면을 구성하는 기본단위인 픽셀이 얼마나 많이 사용되었는지로 판단할 수 있다. 해상도가 높을수록 더욱 출력물이 선명해지며, 그만큼 연산능력 역시 많이 요구된다. 현존하는 리얼 타임 렌더링 기술로는 PC나 게임 콘솔 등의 가정용 기기에서 Full HD보다 더 높은 해상력의 결과물을 안정적으로 출력하는 것은 힘든 일이다.

한편 인간의 눈은 한 쪽마다 약 최대 1억 2000만화소 가량의 해상력을 지닌다. 이는 4K UHD 해상도의 약 14.5배, Full HD 해상도의 약 58배에 해당하는 해상력으로 HD 표준에 사용되는 비율인 16:9 비율에 대응해보면 Full HD의 64배인 16K 해상도(15360×8640, 1억 3,271만 400 화소)에 근접한 해상력이다. 그것도 한 쪽 눈만…
알기 쉬운 기준을 제시하자면, 만일 가상현실 공간 안에서 16:9 비율의 40인치 곡면 TV(시야각 비율에 따라 쉽게 계산하기 위해 평면이 아닌 구의 곡면으로 가정)를 시청한다고 가정해 보자. 2m 떨어진 거리를 기준으로 시야에서 차지하는 시야각은 좌우 25도, 상하 14도 가량이며, 이는 전체 시야에서 단일 안구의 시선 고정 기준(바깥 방향 90도, 코 방향 60도, 윗 방향 60도, 아랫 방향 60도) 수평 1/6, 상하 1/8.57 정도, 움직이는 시선 기준(바깥 방향 120도, 코 방향 60도, 윗 방향 85도, 아랫 방향 95도) 수평 1/7.2, 수직 1/12.857 정도, 목까지 움직이는 시선(수평수직 360도)이라면 수평 1/14.4, 수직 1/25.6 정도로 생각보다 좁은 편이다.

여기서 가상현실 내에 보이는 2m 떨어진 40인치 곡면 TV의 디스플레이를 DVD급(480p)으로 표현하려면 필요 해상도는 가로 854p의 6배, 세로 480p의 8.57배인 5124×4114이지만, Full HD급(1080p)으로 표현하려면 필요 해상도는 11530×9256까지 치솟는다. 게다가 가상현실 영상은 기본적으로 스트레오스코피 기술을 기반으로 좌안과 우안 영상을 별도로 렌더링해야 하기 하기 때문에 실질 필요 해상력은 이보다 2배인 11530x9256x2가 된다. 지금까지 계산한 값은 시선 고정이었을 때의 요구 해상도라는 점이고, 움직이는 눈알까지 커버하려면 요구 해상도는 13834x13834x2로 더 높아진다.
물론, 2m 떨어진 40인치 곡면 TV를 놓고 계산된 값으로 TV보다 더 가까운 50cm 떨어진 20인치 모니터, 30cm 떨어진 10인치 태블릿 컴퓨터, 20cm 떨어진 5인치 스마트폰이라면 모두 같은 Full HD 디스플레이 기준으로 맞춰도 시야각이 더 넓어지기 때문에[2] 요구 해상도는 TV보다 상대적으로 더 낮아지며, 특히 스마트폰의 경우 요구 해상도가 약 11068x11068x2로 낮아진다.
이와 상관없이 양안의 망막에 분포하는 망막세포(간상세포)의 개수인 약 1억 2000만개 x 2에 가까운 해상력으로 맞추려면 10956x10956x2 해상도(1억 2,003만 3,936 화소 x 2)가 필요하다.

따라서, 90~110도 시야각인 기존 1280x1440x2, 1080x1200x2, 960x1080x2 해상도의 VR HMD 기기가 판매 중인 상태에서 해상도만 2160x2160x2로 업그레이드된 VR HMD 기기가 나오면 모기장 현상이 덜 느끼겠지만 시야각 문제는 여전한데다 그동안 5인치 Full HD 스마트폰에서 봤던 것과 비슷한 체감의 ppi를 기대하기 어렵다. 현세대 시야각 범위(약 100도)로 맞춰도 최소 6144x6144x2 이상의 해상도가 요구되며, 단일 안구 기준 수평수직 180도, 양안 기준 수평 240도, 수직 180도인 시야각 범위라면 10956x10956x2 해상도여야 Full HD에 익숙한 유저의 눈높이에 가깝게 맞출 수 있을 것으로 예상되지만 해상도 문제는 물론이고 시야각 구현 문제도 있어서 현실적으로 가격과 타협하면서 발전하려면 눈알을 움직이지 않아도 보여질 수밖에 없는 스크린의 해상도부터 어느 정도 상향시키는게 더 낫다.

4.1.1.2. 폴리곤

컴퓨터 그래픽에서 3D 오브젝트를 구성하는 기본단위로서, 3개의 좌표로 이루어진 삼각형이다.
폴리곤의 숫자가 늘어날수록 세밀한 표현이 가능해지며, 그만큼 실시간 렌더링 연산능력 역시 많이 요구된다.
게임 콘솔을 기준으로 할 때에, 5세대기의 경우 캐릭터마다 약 150~300 폴리곤, 6세대기의 경우 1000~3000 폴리곤, 7세대기의 경우 1만~2만 폴리곤 가량이 할당되었으며, 8세대기인 현재의 경우 8~20만개 가량의 폴리곤을 주연급 캐릭터에 할당하고 있다.

 

참고로 일반적인 영화에 등장하는 풀 CG 캐릭터들은 2K 해상도 기준 100~200만개 가량의 폴리곤을 사용한다. 단순 수치만으로 계산할 때에 9세대기 게임기만 되어도 영화의 CG와 동일한 퀄리티의 폴리곤을 사용할 수 있게 되며, 이미 8세대기인 현재에도 컷신 등의 특수한 연출 상황에서는 한 캐릭터에 50~100만개 가량의 폴리곤을 할당할 수 있다.
하지만 폴리곤의 숫자가 반드시 오브젝트의 세밀함과 비례한다고 볼 수는 없다. 우선 영화 등의 프리렌더링 CG에 많은 폴리곤이 사용되는 것은 세밀함의 문제보다는, 모델링을 보다 쉽고 편하게 하기 위해서 렌더링 성능을 사실상 고려하지 않고 3D 모델을 제작하기 때문이다.
또한, 미래의 리얼타임 3D 렌더링 기술이 반드시 폴리곤 기반의 모델링으로 이루어진다고 볼 수는 없으며, 복셀 엔진을 사용하는 경우 역시 고려해야 할 것이다. 복셀에 대한 정보는 해당 문서 참조.

4.1.1.3. 텍스처
4.1.1.4. 쉐이더

4.1.2. 음성 기술

  • 바이노럴 효과

4.2. 입력 기기

가상현실을 위한 입력기기는 일반적으로 키보드, 마우스와 같은 입력도구와는 달리, 사용자의 신체 활동을 직접 인식할 수 있는 기기들이 사용된다.

4.2.1. 모션 캡쳐

3D 모션 기법 중 하나인 모션 캡쳐 기술을 그대로 적용한 입력 기기들이다.

  • 모션 캡쳐 리모콘

http://rigvedawiki.net/r1/pds/Wii_20_eb_a6_ac_eb_aa_a8_ec_bb_a8/phshro.jpg

가장 초보적인 형태의 가상현실 입력기기라 할 수 있다. 자이로스코프가 내장되어 있거나, 적외선 발광기와 적외선 센서를 이용하여 움직임을 인식 가능한 리모콘을 들고 움직이면, 리모콘의 움직임을 바탕으로 사용자의 움직임을 인식하는 형태의 기기이다.
매우 가격이 싸며 기술적으로 만들기 쉽다는 장점이 있지만, 인식 가능한 동작의 한계나 편의성 등의 문제로 현재는 사실상 사장되어 가는 추세이다.

  • PS Move
  • Wii 리모컨
  • 모션 캡쳐 카메라

http://rigvedawiki.net/r1/pds/_ed_82_a4_eb_84_a5_ed_8a_b8/Example.jpg

2009년 마이크로소프트가 선보인 키넥트를 통해 대세로 떠오른 가상현실 입력기기이다.
본래 모션 캡쳐 카메라는 마커라 불리는 공 모양의 센서를 전신에 부착해야 정상적인 모션 인식이 가능했으나, 기술의 발전으로 인해 마커 없이도 모션 인식이 가능한 기기들이 개발되기 시작되었으며, 키넥트를 필두로 하여 가정용으로도 충분한 시장성이 있다는 것을 입증해 보이고 있다. 현재 시점에서 가장 대중적인 가상현실 입력기기라 할 수 있다.
본디 센서 없이도 동작을 인식하는 모션 캡쳐 카메라는 가정용이든 전문용이든 이전에도 존재했으나(PS2의 아이토이 등), 키넥트가 나타나기 전까지는 가격이나 성능 면에서 보잘것없는 수준이였지만, 키넥트 이후부터는 표정 등의 세부적인 동작을 제외하고 신체에만 국한하면 사실상 완벽에 가까운 인식 능력을 보여준다.
다만, 카메라에 보이는 범위 안에서만 동작이 인식되기에, 달리기 등의 격한 활동이나, 오래 걷기 등의 활동 범위가 큰 행동은 인식이 제약되는 단점이 있다.

  • 키넥트
  • 프로젝트 비욘드
  • 플레이스테이션 카메라
  • 기타 제스쳐 기반 HID 기기
    카메라를 아예 사용하지 않는 모션 캡쳐 기기 역시 존재한다. 주로 근육의 움직임 등을 감지하는 팔찌 형태의 HID 기기들이 그것.

    • rink
    • Myo
    • PrioVR
    • Dexmo : 손가락 컨트롤러
  • HTC Vive : 출력 기기인 HMD과 입력 기기인 모션 컨트롤러 모두 포함
  • 플레이스테이션 VR : 출력 기기인 HMD와 입력 기기인 모션 컨트롤러 모두 포함

4.2.2. 전방위 트레드밀(Omnidirectional Treadmills

러닝 머신

상기한 모션 캡쳐 카메라가 ‘카메라가 보이는 한도 내에서만 인식이 가능하기에 걷기 등의 범위가 큰 행동을 취할 수 없다’라는 단점을 메꾸어 줄 수 있는 가상현실 입력 기기로서, 360도 이동이 가능한 트레드밀과 허리 지지대를 이용하여 제자리에서 걷거나 뛰는 행동을 취하고 인식할 수 있도록 해 주는 기구이다.
모션 캡쳐 카메라가 제자리에서 취할 수 있는 세부적인 동작 인식에 치중되어 있다면, 전방위 트레드밀은 보다 공간적인 움직임을 취할 수 있도록 만들어 주며, 두 기구는 기술적으로 상충되지 않으므로 상반신의 움직임은 모션 캡쳐 카메라로 인식하고, 하반신의 움직임은 전방위 트레드밀로 인식하는 등의 방법을 이용하여 중복하여 사용할 수 있다는 이점이 있다.

직접 가상현실 공간을 돌아다닐 수 있다는 데에 그 이점이 있기 때문에, 가상현실 세계에 직접 들어간 듯한 몰입감을 주는 HMD의 사용은 사실상 필수적이라고 볼 수 있다. 전방위 트레드밀을 사 놓고 모니터로 보면서 게임을 하는 것은 그냥 운동기구를 쓰면서 게임을 하는 셈.
하지만 아직까지는 층간 소음, 컨텐츠 부족 등의 이유로 활성화되지는 못한 상태이다.

저렴한 제품의 경우 생각보다 저렴하여 약 30~50만원대의 가격에 구매할 수 있다. 그러나 대부분 북미 지역에서 제조되고 있어 운송료와 관세 등을 고려하면 구매자에 따라서는 상당히 부담되는 가격일 수 있고, 무엇보다 괜찮은 제품의 경우 애초에 가격 자체가 80만원선 이상에서 형성되어 있다. 관세와 운송료가 추가되면 백만 원은 가볍게 넘어간다.

  • 버툭스 옴니(Virtuix Omni)
  • 사이버리스 버추얼라이저(Cyberith Virtualizer)

버툭스 옴니와 사이버리스 버추얼라이저는 발바닥이 발판 위에서 미끄러지도록 설계된 수동형 트레드밀(Passive Treadmill)이다. 버툭스 옴니는 전용 신발이 필요하며, 사이버리스 버추얼라이저는 전용 신발이 따로 없다. 버툭스 옴니의 경우 전용 신발 밑에 달린 바퀴의 움직임을 통해 이동을 구현하는 원리로 작동하기 때문. 사이버리스 버추얼라이저는 맨발로도 사용이 가능하지만 맨발은 잘 안 미끄러지니 양말을 신고 이용하는 것을 권장한다. 각각의 기기는 이용시 장단점이 있는데, 확실한 이동의 구현은 버툭스 옴니 쪽이 낫지만 앉거나 웅크리기, 점프 등의 동작은 사이버리스 버추얼라이저가 낫다는 평이 많다. 다만 버툭스 옴니의 개발자는 소비자가 원한다면 더 다양한 기능을 추가하는 것은 문제가 아니라고 한다. 가격 상승 요인 때문에 여타 기능을 넣지 않은 듯.

  • 인피나덱(Infinadeck)

인피나덱은 상기 두 제품과 달리 실제로 발판이 움직이는 능동형 트레드밀(Active Treadmill)이다. 각 발판마다 설치되어 있는 회전축이 직교하므로 대각선이나 곡선으로 걸어도 문제없다. 그래서 상기한 두 제품에 비해 실제로 걷는 느낌을 더 확실히 전달해 준다. 문제는 복잡한 기계적 구조로 인한 큰 덩치. 다른 제품에 비해 엄청난 덩치를 자랑한다. 당연히 무게도 훨씬 무겁고 가격도 훨씬 비싸질 것으로 예상[3]되며 무게로 인한 배송료는… 답이 없다. 아직 개발 중인 제품이므로 덩치와 중량 문제는 개선될 여지가 있다. 다만 가격은 개발이 길어지면서 더 상승할지도?

4.2.3. 뇌-컴퓨터 인터페이스

해당 문서 참조

4.3. 출력 기기

HMD
2D/3D HMD SONY HMZ 시리즈 EPSON 모베리오
VR HMD Windows PC 오큘러스 리프트 HTC Vive LG VR
게임 콘솔 버추얼 보이 플레이스테이션 VR
스마트폰 삼성 기어 VR 구글 카드보드 데이드림
AR HMD 구글 글래스 홀로렌즈
MR HMD Windows MR

4.3.1. HMD (시,청각)[편집]

  • 버추얼 보이 1995년 7월 21일 발매
  • 구글 카드보드 2014년 6월 발표
  • 기어 VR 2015년 11월 소비자용 발매 – 소비자용 한정으로 실질적인 첫 VR HMD 기기
  • 오큘러스 리프트 2016년 3월 소비자용 발매
  • HTC Vive 2016년 4월 소비자용 발매
  • 플레이스테이션 VR 2016년 10월 13일 발매
  • LG VR(가제) 2017년 3월, GDC에서 공개 자세한 내용은 추가 바람.

4.3.2. 촉각

실제 물건을 잡는 느낌, 총에 맞는 느낌, 온도 감각등을 느끼게 해주는 출력 장비이다.

  • TeslaSuit : 입력장치인 동작 인식 모션캡쳐임과 동시에 몸에 촉각도 느끼게도 해주는 출력 장비 기능도 갖추고 있다
  • KOR-FX
  • Hands Omni
  • PrioVR.

5. 가상현실의 현황과 픽션과의 비교

픽션에서의 가상현실은 완전 몰입형 가상현실로 묘사된다. 즉 별도의 다른 인터페이스 장치가 없이 뇌-컴퓨터 인터페이스(Brain-Computer Interface, BCI)만으로 모든 입출력 과정을 처리하고, 따라서 사실상 뇌와 컴퓨터만으로 모든 입출력이 이루어지는 것이다.

하지만 지금의 가상현실 기술은 완전 몰입형 가상현실이 아닌 제한적 몰입형 가상현실을 추구하고 있다. HMD 등 기존의 인터페이스 장치들을 활용하여 몰입형 가상현실을 제한적으로 구현하는 방향으로 개발이 행해지고 있으며, 디스플레이(모니터·HMD 등)·스피커·키보드·마우스 등의 일반적인 인터페이스 장치들을 활용하는 방향성을 추구하고 있어서 픽션에서와 같은 완전한 몰입형 가상현실을 추구하는 것은 아니다.

그렇다면 왜 완전 몰입형 가상현실이 아닌, 제한적 몰입형 가상현실을 추구하는 것일까? 이는 픽션에서 묘사되는 것과 같은 완전 몰입형 가상현실을 구현하기 위해서는, 사용자의 뇌가 컴퓨터에 명령을 내릴 뿐만 아니라 컴퓨터가 전해주는 것을 읽을 수도 있어야 한다는 전제가 있어야 하기 때문이다. 즉 컴퓨터와 사용자의 뇌 간의 직접적 데이터 통신이 이루어져야 하는데, 현실의 뇌-컴퓨터 인터페이스 기술은 아직 그러한 개념을 실현할 수 있을 정도로 발전이 진행되지 않고 있다.

5.1. 뇌-컴퓨터 인터페이스의 기술적 한계

픽션에서와 같은 완전 몰입형 가상현실의 실현을 위해서는 입력 장치만이 아니라 출력 장치의 역할도 할 수 있는 기술이 요구된다. 단순히 뇌의 전기적 활동의 ‘결과물’인 뇌파를 읽어내는 수준을 넘어서서 신경 신호를 직접 읽어내는 등 뇌의 전기적 활동의 ‘원인’을 감지하고 해석할 수 있어야 하고, 입출력 모두에 대응하여야 하므로 뇌에 직접적인 정보의 입출력을 행할 수 있는 기술체계가 필요해지며, 이에 더해서 사용자의 뇌와 신체 사이의 감각신경·운동신경의 기능을 일시적으로 중지시키고 가상현실의 데이터와만 상호작용을 하게 되는 상태가 되도록 만들 필요 역시 있다. 사용자의 뇌는 오로지 가상현실의 데이터만을 전달받으며 마찬가지로 사용자의 뇌에서 보내는 전기적 신호는 가상현실로만 전달되고, 신체의 감각신경에서 전달되는 신호는 사용자의 의식에 영향을 미치지 않으며 마찬가지로 뇌 역시 운동신경에 명령을 내릴 수 없게 되는 그런 상태를 만들 필요가 있다는 것. 이를 실현하고자 한다면 단순히 뇌의 전기적 활동을 감지하는 것을 넘어서서, 뇌에 간섭하여 뇌의 전기적 활동을 직접 유도해낼 수도 있어야 한다.

그러나 현실의 뇌-컴퓨터 인터페이스(BCI) 기술은 완전 몰입형 가상현실을 실현하기에는 아직 미흡한 부분이 적지 않다. 지금의 뇌-컴퓨터 인터페이스 분야에서 주로 연구되고 있는 분야는 사용자의 신체에 삽입되지 않는 비삽입형(비침습식) BCI이다. 그런데 이러한 비삽입형 BCI는 뇌의 전기적 활동의 ‘결과물’인 뇌파를 감지해서 읽어내는 뇌파 감지 방식을 채용한 경우가 대부분이고 신경 신호를 직접 읽어낸다던가 하는 식으로 뇌의 전기적 활동의 ‘원인’을 감지하는 것은 아닌 관계로, 뇌의 정보를 컴퓨터에 입력시키는 것에는 대응하고 있지만 반면 뇌에 직접적으로 정보를 출력해줄 수 있지는 않은 경우가 일반적이다. 키보드·마우스 등과 같은 입력 장치로서의 역할은 할 수 있지만, (모니터와 HMD로 대표되는) 디스플레이나 스피커 등과 같은 출력 장치의 역할은 해낼 수 없다는 것이다. 이렇듯 비삽입형 BCI는 입력에만 대응하고 출력에는 대응하지 않기에 기존의 인터페이스 장치들을 완전히 대신할 수 없으며, 입력 장치의 역할은 가능해도 화면이나 소리를 직접 머릿속에 보여주거나 들려주는 출력 장치의 역할은 할 수 없으므로 완전 몰입형 가상현실을 구현할 수 없다. 기존의 인터페이스 장치들을 보조하는 수단으로서 제한적 몰입형 가상현실의 구현에 활용하는 정도가 한계인 것이다.

한편 사용자의 신체에 삽입되어 뇌신경에 직접적으로 연결되는 삽입형(침습식) BCI의 경우에는 크게 두 가지 방식으로 나누어지고 있기에, 어떤 방식을 채용하였는가에 따라서 완전 몰입형 가상현실을 구현할 수 있는 지의 여부가 갈린다. 삽입형 BCI는 크게 나누어서 뇌파를 감지해서 읽어내는 뇌파 감지 방식을 채용한 경우와, 신경 신호를 직접 읽어낼 수 있고 또 뇌신경에 정보를 직접 보낼 수도 있는 직접 신경 접속 방식을 채용한 경우로 나누어진다. 여기서 전자의 경우에는 신경 신호를 직접 읽지 못 하며 뇌에의 직접적인 정보 입출력에도 대응할 수 없어 자연히 비삽입형 BCI와 동일한 한계를 가지기에 제한적 몰입형 가상현실의 구현에는 활용될 수 있을 지 몰라도 완전 몰입형 가상현실은 구현할 수 없고, 후자의 경우에는 신경 신호를 직접 읽을 수 있으며 뇌에의 직접적인 정보 입출력에도 대응할 수 있는 기술이기는 하지만 지금으로서는 의수·의족 등으로 대표되는 사이보그 기술에의 적용을 우선해서 연구가 진행되고 있는 초보적인 단계이기 때문에 가상현실 분야에의 적용이 이루어져 완전 몰입형 가상현실의 구현에도 응용될 수 있을 정도로 발전하기까지는 아직 많은 시간을 필요로 한다. 일단 뇌의 시각 피질에 이미지를 주입하여 시각 신호를 시신경을 경유하지 않고 뇌에 바로 주입할 수 있는 칩이 연구되고 있는 등 관련 연구가 어느 정도 진행되고 있는 걸 생각해 보면 이론상 아주 불가능한 건 아닌 듯 하긴 하지만….

이렇듯 완전 몰입형 가상현실의 구현을 위해서는 뇌-컴퓨터 인터페이스의 기술적 한계가 해소되어야 할 필요가 있으며, 따라서 지금보다도 훨씬 더 높은 수준의 기술력이 필요한 상황이다. BCI를 입력 장치 이외에도 출력 장치로도 활용할 수 있어야 완전 몰입형 가상현실을 구현할 수 있지만, 이는 근미래에도 실현되기 힘들 것이라 예상되는 상황인 것이다.

또한 뇌-컴퓨터 인터페이스의 발전을 통해 완전 몰입형 가상현실의 실현이 가능해진다 하더라도 넘어야 할 장벽은 아직 많다. 완전 몰입형 가상현실은 가상현실에 접속하게 되는 동안 사용자의 신체는 오감이 차단되고 운동능력이 중지되어 사실상의 식물인간 상태가 된다는 것을 전제로 하고 있으므로, 예상치 못한 오류에 대한 사용자의 대응능력을 떨어뜨리거나 사고발생의 가능성을 높일 수 있는 등의 문제를 지니게 된다. 사용자의 뇌신경에 직접적인 영향을 미치는 만큼 위험 부담이 크고 안전상의 문제도 존재하게 되는 것이다. 이에 대한 자세한 이야기는 밑에서 후술한다.

5.2. 윤리적·법률적 문제

상기한 대로 픽션에서와 같은 완전 몰입형 가상현실은 접속중인 사용자의 몸을 정지시켜야 한다는 전제를 가진다. 뇌의 전기적 활동을 감지하는 것을 넘어서서 뇌에 간섭하여 직접 전기적 활동을 유도하며, 몸을 움직이지 않도록 해 두고서 뇌는 가상현실의 데이터와 상호작용을 하도록 한다는 것이다.

그러나 상기한 개념은 기술적인 문제를 해결한다 하더라도, 윤리적·법률적 문제 역시 넘어야 한다는 또 다른 문제를 지니고 있다. 상기한 설명에서도 눈치챌 수 있는 것이지만 가상현실에 접속하는 동안 몸을 정지시킨다는 것은 오감을 차단시키고 운동능력을 중지시킨다는 뜻으로, 사실상 식물인간상태가 되는 셈이다. 이런 상황에서 불이라도 난다면? 갑작스럽게 몸을 일으켜 도망을 쳐야 한다면? 이와 같은 신체의 정지는 예상치 못한 오류나 사고의 가능성을 높일 수 있으며 그에 대한 사용자의 대응능력을 크게 떨어뜨린다. 이렇게 벌어진 사고에 대한 책임은 가상현실 제공사에 있을까, 개인에게 있을까? 게다가 사용자의 뇌신경에 직접적인 영향을 미치는 만큼 특정한 위험이나 후유증을 일으킬 가능성이 높으며, 이를 다루는 안전상의 문제도 제기될 수밖에 없다. 이는 몸의 정지 뿐만 아니라 뇌에의 직접 출력도 마찬가지이다. 누군가가 강제로 이미지와 소리를 듣게 한다면? 안전 정책은 어디까지, 그리고 윤리적인 허락은 어디까지 이루어져야 하는가?

또한 이러한 문제 이외에도, 완전 몰입형 가상현실은 지금의 제한적 몰입형 가상현실과 마찬가지로 선정성이나 폭력성 등과 관련한 윤리적 논란을 겪을 가능성이 크다. 참고로 지금의 제한적 몰입형 가상현실 역시 그러한 윤리적 논란의 대상이 되고 있는데, 예를 들어 도쿄 게임쇼에서는 가상현실의 선정성으로 인해 이런 사건까지 생겼을 정도다.

5.3. 정리

정리하자면 상기한 것과 같은 여러 이유로 인해서 지금의 가상현실 기술은 이미 상용화되어 보급되어 있는 기존의 인터페이스 장치들을 활용하여 제한적 몰입형 가상현실을 구현하는 것을 목표로 하여 개발이 행해지고 있으며, 픽션에서와 같은 완전 몰입형 가상현실의 구현까지는 아직 많은 과제가 남아 있는 상황이다. 또한 그러한 과제는 기술적 차원에서의 과제에만 그치지 않으며, 윤리적·법률적 차원에서의 과제 역시 적지 않게 존재하고 있기도 하다.

또한 완전 몰입형 가상현실의 구현이 가능해진다 하더라도 그 모습은 헤드기어나 캡슐과 같은 형태의 비삽입형 BCI 기기보다는 사용자의 몸에 이식되는 삽입형 BCI 기기에 보다 의존하게 되는 등, 픽션에서 흔히 묘사되는 것과는 상당히 다른 모습이 될 것이라고 예상해볼 수 있을 것이다.

VR로 시작되는 ‘경험혁명’을 준비하라 VR이 더욱 발전하고 보편화 될 미래에 대한 예상을 담은 기사. 제법 신선한 내용을 담고 있으니 읽어볼 만 하다.

6. 기타

6.1. 가상 현실을 소재로 한 작품

6.1.1. 영화/드라마

  • 가상현실(영화)[4]
  • 론머맨
  • 매트릭스
  • 소스 코드
  • 아바론
  • 엑시스텐즈
  • 올모스트 휴먼
  • 쥬만지(2017)
  • 토탈 리콜
  • 트론
  • 극장판 가면라이더 에그제이드 트루 엔딩

6.1.2. 소설

  • 뉴로맨서
  • 도매가로 기억을 팝니다
  • 링 시리즈 원작 소설
  • 대다수의 게임 소설[5]
    • 달빛조각사
    • 아크
    • 옥스타칼니스의 아이들
6.1.2.1. 라이트 노벨
  • 소드 아트 온라인
  • 액셀 월드
  • 이 세계가 게임이란 사실은 나만이 알고 있다
  • 크리스 크로스 – 혼돈의 마왕

6.1.3. 만화/애니메이션

  • 공각기동대
  • 무한 츠쿠요미
  • 낙원추방
  • 롤플레잉겜만화
  • 리얼 어카운트
  • 명탐정 코난 극장판 6기 베이커가의 망령
  • 블레임!
  • 열렙전사
  • 오버로드
  • 용자특급 마이트가인
  • 유레카
  • 유희왕 VRAINS
  • serial experiments lain
  • 소드아트온라인
  • Shelter

6.1.4. 게임

  • 동물의 숲 시리즈
  • 레이 크라이시스
  • 메탈기어 시리즈[6]
  • 빛의 바다의 아페이리아
  • 섬머 레슨
  • 세컨드 라이프
  • 스타 시티즌
  • 슈퍼 단간론파 2 -안녕히 절망학원-
  • 심즈 시리즈
  • 어쌔신 크리드 시리즈
  • 폴아웃3 DLC 오퍼레이션 앵커리지
  • .hack
  • Implosion

6.1.5. 가상의 가상현실 체험 기기

  • 공각기동대 – 전뇌
  • 뉴로맨서 – 심스팀 덱(Simstim Deck)
  • 베이커가의 망령 – 코쿤
  • 섀도우런 – 심센스(SimSense)
    • 섀도우런 리턴즈 – BTL(Better Than Life) : 심센스의 자극 강도 제한을 해제하고 쾌락 중추를 직접 자극하는 마약성 가상현실.
  • 소드 아트 온라인 – 너브기어, 어뮤스피어
  • 액셀 월드 – 뉴로링커
  • 어쌔신 크리드 시리즈 – 애니머스
  • 플레인스케이프 토먼트 – 감각석(Sensory Stone)

6.2. VR방

해당 문서 참조.

6.3. 성인물로서의 VR

VHS를 비롯한 영상매체와 토렌트와 같은 기술이 모두 포르노 산업과 시너지를 내며 발전한 전례를 볼 때 VR 기술 역시 필연적으로 성인물과 접목이 될 것으로 예상이 된다.

현재 VR은 야동산업에도 진출하여 현재 Pornhub에서 서비스 하고 있다.

6.4. VR 활용 사례

  • 취미
    • 헬스클럽
    • 롤러코스터
    • 드론
    • 뮤지컬 감상
    • 테마파크/서바이벌 게임장
    • 귀파기 음성
  • 직업
    • 군대 훈련
    • 차량 세일즈
    • 의료(심리 상담)
    • 영상촬영(결혼식)
    • 스포츠 중계
    • 면접