이번 시간에는 360 비디오 제작의 후반 프로세스에 대해서 설명을 드리겠습니다.
흔히 포스트 프로덕션이라고 하죠. 360 비디오를 찍고 나서 보통 스튜디오로 돌아와서 후반 팀 하고 미팅을 할 때마다 늘 여러 가지 난관이 발생을 하는데요. 대표적인 것 몇 가지만 말씀드릴게요. 일단 카메라들마다 광량이 다르게 들어오는 문제, 이게 항상 큰 문제 중의 하나입니다. 그 카메라가 360도를 위치하다 보니 우리가 이 360도 카메라를 고정시켜서 찍는 경우에는 크게 문제가 되지 않는데요. 카메라를 이동하게 되면 카메라 광량이 계속해서 달라지 게 되는 거죠. 근데 1번 카메라하고 2번 카메라가 받는 광량이 다르다 보니 후반에서 이런 것들을 이어 붙일 때 카메라간의 색깔 정보가 완전히 다르게 되는 경우가 발생합니다. 이 문제는 현재로써는 포스트 프로덕션 앞 단계에서는 잡기가 굉장히 어려운 부분이고요. 후반 작업자들이 이런 부분들을 어떻게 고려해서 작업을 할 것인가에 대해서 계속해서 솔루션들을 개발해야 되는 부분입니다. 그리고 아까 여러번 말씀드렸다시피 카메라간의 싱크가 불일치하는 부분은 늘 발생을 하는 부분이고요. 이 부분은 일정 부분 카메라 감독님들, 촬영 감독님들 하고 이야기를 통해서 좀 더 좋은 솔루션들 혹은 젠락이 되는 솔루션들, 카메라간의 싱크가 가능한 형태의 스위처들을 이용해서 촬영 단계부터 어느 정도 해결을 할 수 있는 부분이어서 만약에 여유가 되신다면 가급적으로 촬영 전 단계에서 이 부분을 얘기를 하셔서 싱크를 맞출 수 있는 형태의 솔루션을 쓰는 게 제일 좋습니다.
스테이블라이징은 기본적으로 나와 있는 솔루션들은 굉장히 많아요. 근데 대부분 2D 촬영에 최적화된 솔루션이다 보니 360 시스템에 맞춰서 아직까지 시중에 쉽게 쓸 수 있는 형태로 나와 있는 건 많지 않습니다.
그래서 저희도 보통 제작을 따로 하는 경우가 많이 있고요.
그리고 특히 일반 촬영 말고 드론 같은 경우에도 카메라를 거치 할 때 우리가 나와 있는 솔루션을 가지고 카메라를 거치하기 힘들기 때문에 스테이블라이징 장치들을 따로 개발을 해서 붙이는 경우가 많이 있습니다.
물론 후반에서 이런 것들을 최대한 잡아줄 수 있는 솔루션들도 많이 있겠지만 가급적이면 카메라 소스 자체가 좋으면 좋겠죠?
그리고 데이터 관리. 이것은 이제 카메라가 많이 들어가면 들어갈수록 사실 어려운 부분인데요.
현장에서 카메라가 12대씩 들어가는 경우에는 한번 찍고 나서 카메라 SD카드를 뽑아서 데이터들을 제대로 관리하는 것도 현장의 숙제 중의 하나예요.
이게 개수가 너무 많다 보니까 데이터 매니저가 있다 하더라도 굉장히 헷갈리는 경우가 많이 있어서 이 규약을 굉장히 잘 정해 놓으셔야 합니다.
후반에서 작업하시기에 적합한 형태의 폴더라든지, 네이밍들 이런 것들을 사전에 미리 협의를 하셔서 현장에서 확보되는 데이터들을 어떻게 하면 좀 더 조직화 된 형태로 관리할 수 있을지 그리고 후반에서 헷갈리지 않고 그러한 정보들을 찾을 수 있을지에 대해서 미리 약속을 하시는 게 굉장히 중요합니다.
이게 안되면 후반에서 소스들을 받긴 받았는데 그걸 하나 하나 다 확인하면서 또 맞춰야 하는 그런 어려움이 발생하는 거죠.
그럼 아까 말씀드렸던 광량에 따른 컬러 싱크가 맞지 않는 문제, 그리고 스티칭 솔루션들 여러 가지 문제들이 있는데요.
스티칭 같은 경우에는 아직도 기술들은 여러 가지 개발되고 있어요.
근데 범용으로 어떤 카메라에서 발생하는 소스인지간에 자동으로 이미지를 분석해서 붙여줄 수 있는 완벽한 스티칭 소프트웨어는 아직까지 없는 상황입니다.
그래서 저희 같은 경우에는 기본적인 스티칭 소프트웨어를 사용을 하되 그 이후의 단계는 여전히 씨지나 브이오펙스 전문가들의 힘을 통해서 좀 더 완벽한 형태의 스티칭을 만들어내는 과정을 추가로 진행을 하고 있습니다.
이 부분까지도 우리가 이 소스나 콘텐츠를 어떻게 활용할지에 따라서 스티칭 솔루션을 어디까지 사용할지에 대한 고려도 후반에서 같이 되어야겠죠.
포스트 프로덕션의 전체 프로세스를 좀 정리를 해보았습니다.
근데 일반적인 어떤 촬영 프로세스보다 몇 가지 더 추가된 항목이 있습니다.
보통 촬영을 하고 나서 원본을 가져오게 되면 보통 일반적으로 바로 편집을 하게 되는데요.
아까 말씀드렸다시피 카메라간의 광량이 다르고 정보가 좀 다르기 때문에 저희는 일차적으로 컬러를 한번 조종하는 작업을 먼저 합니다. 그래서 확보된 소스들의 컬러를 먼저 조정을 해서 기본적으로 이 소프트웨어가 고쳐질 수 있는 수준의 어떤 스티칭 단계를 일차적으로 진행을 해서 완성된 형태의 360도 비디오 소스를 먼저 확보를 하는 거죠. 근데 여기 있는 스티칭이 완벽하지 않는 상태에서 확보를 하게 되고요. 이렇게 확보된 소스들을 가지고 다시 편집자가 베스트 컷들을 선별하게 되고 그렇게 베스트 컷들을 가지고 편집 과정에서 필요한 소스들을 가지고 편집을 먼저 진행하게 되고요. 이렇게 해서 전체 우리가 사용할 콘텐츠들의 길이가 정해지고 편집이 완성되고 나면 그 다음에 완성된 소스에서 필요한 부분만 따로 뽑아가지고 스티칭을 다시 한 번 고도화를 하게 됩니다. 이 스티칭 고도화 부분을 왜 따로 하냐면 굉장히 노동 집약적인 작업이고 시간이 굉장히 많이 걸리는 작업이기 때문에 이 부분에서 우리가 쓰지 않는 소스들까지 굳이 스티칭 할 필요가 없기 때문이죠. 그래서 편집이 끝나고 나서 우리가 실제로 사용할 소스들을 베이스로 해서 스티칭을 고도화 하게 되고 이 때 고도화하는 작업들은 굉장히 정교한 작업을 통해서 우리가 눈으로 360도 환경을 봤을 때 스티칭이 깨지지 않는 완벽한 스티칭까지 갈 수 있는 목표로 작업을 해야 합니다. 사람마다 다르겠지만 이 스티칭이 조금만 깨지게 되도 몰입감을 굉장히 저하시키는 요소가 됩니다. 이게 깨끗하게 붙었을 때 하고 약간 깨졌을 때 실제 현장에 있는 느낌을 주기 위해서는 훨씬 더 깨끗한 스티칭이 필수적이라고 볼 수 있습니다. 여기까지 스티칭이 다 되고 나서 완성된 형태의 360도 영상을 베이스로 해서 최종적으로 컬러 조정을 다시 하게 되고요. 업계에서는 흔히 디아이나 엔티씨 ~~ 맡긴다는 표현들을 많이 사용하는데요. 흔히 이제 상영화되기 전에 후반에서 작업할 수 있는 색깔을 잡아주고 사용화 되기 전에 어떻게 보면 파이널 라이징이라고 할 수 있는 작업이 되겠죠. 최종 컬러 조정을 통해서 영상의 때깔을 좀 더 그럴싸하고 고급스럽게 만들어주는 작업입니다. 여기까지 그림을 다 맞추고 나면 사운드 디자인 작업에 들어가게 됩니다. 물론 사운드 디자인은 사전에 먼저 편집이 끝나고 같이 들어갈 수도 있고요. 이 사운드 디자인은 일반적인 2D 영상에서도 중요하겠지만 360 같은 경우에는 소리의 방향성과 거리감까지 줘야 되기 때문에 사운드 디자인이 굉장히 중요하고요. 여기서 디자인 된 사운드들, 만들어진 사운드들을 어떻게 배치하고 어떤 타이밍에 어디서 나오게 하느냐 이런 경험에 따라서 실제로 사용자들한테 완전히 현장감과 몰입감을 줄 수 있는 거죠. 대표적으로 우리가 360에서 사용자들의 시선을 유도하는 여러 가지 방법이 있는데요. 그 중에 가장 일반적으로 많이 쓰이는 방식이 소리를 이용한 방식입니다. 사용자가 어떤 특정한 방향을 보고 있다고 가정했을 때 오른쪽이나 뒤쪽에서 소리를 발생시키는 거죠. 그럼 사용자가 본능적으로 시선을 그쪽으로 이동할 수 있기 때문에 실제로 이 사운드를 활용해서 사용자들의 시선을 유도할 수 있는 그러한 기법들을 사용할 수가 있습니다. 이렇게 만들어진 360 사운드들은 다시 한 번 이머시브 사운드 맵핑 과정을 거치게 됩니다, 흔히 이머시브 사운드, 인터렉티브 사운드 이런 어려운 용어들이 있는데요.
이머시브는 흔히 얘기하는 360 3D 사운드라고 보시면 되고요. 인터렉티브는 사용자의 시선에 따라서 같이 움직이는 사운드라고 보시면 됩니다. 이머시브 사운드는 방향성에 따른 맵핑, 그 다음에 거리감에 따른 사운드 디자인을 맵핑하는게 기본적으로 되어 있는데 이 우리가 에이치엠디라고 하는 기기인 헤드 마운티드 디스플레이를 사용했을 경우에는 보통 고개를 돌리게 되죠. 그래서 이 환경에서 내가 고개를 돌렸을 때 앞에서 나던 소리가 내가 고개를 돌렸을 때는 오른쪽에서 나야겠죠? 이런 식으로 소리가 내 고개의 방향에 따라서 같이 움직여 줄 수 있는 것이 바로 인터렉티브 사운드입니다. 이런 기술까지 적용이 됐을 때 굉장히 몰입감이 높은 콘텐츠를 만들어 낼 수가 있는 거죠. 여기까지 완성이 되고 나면 우리가 어딘가에 이 콘텐츠를 배포를 해야 될 텐데요. 지금은 아직까지 360 플레이어를 제대로 제공하고 있는 서비스는 유투브하고 페이스북이 유일합니다. 이제 유투브 같은 경우에는 360 데이터를 올리기 전에 메타 데이터를 삽입하는 그런 프로그램 과정이 필요한데요. 유투브에서 이미 제공을 하고 있는 프로그램이 있고 우리가 만들어진 영상물을 그 프로그램에 집어 넣게 되면 메타 데이터가 삽입된 형태의 파일이 나오게 되고요. 우리는 이렇게 만들어진 최종 결과물을 유투브에 업로드 하게 되면 유투브에서는 그 파일이 360 비디오란 걸 인식을 하고 360 플레이어에 맞는 형태로 실제 재생이 가능하게 세팅이 되는 것이죠. 여기까지가 이제 일반적인 360 포스트 프로덕션 과정을 설명 드렸고요. 이것은 우리가 상업용으로 쓰기 위해서 할 수 있는 최선을 다했을 때의 프로세스입니다. 그래서 우리 프로덕션의 어떤 상황이라 던지, 우리가 쓸 수 있는 재정이라 던지 여러 가지 상황에 따라서 몇 가지들을 덜어낼 수도 있겠죠. 지금 국내에서는 아직까지 스티칭을 고도화 한다 던지 혹은 이머시브 사운드, 인터렉티브 사운드까지도 작업하는 프로덕션들은 많지 않습니다. 이 부분이 비용이 많이 들기도 하고 국내에서 이런 부분들을 가지고 제대로 솔루션을 가지고 적용할 수 있는 회사가 손에 꼽을 정도로 많지 않은 상황이기 때문에 이 부분은 궁극적으로 이렇게 가면 좋지만 일반적으로는 사실 하기 힘든 부분이겠죠.
그렇지만 이런 과정들이 있다는 걸 알고 계시고 우리가 나중에 프로덕션이 좀 더 컸을 때 '이번에는 여기가지 갈 수 있겠구나' 그랬을 때 좀 더 욕심을 낼만한 부분이라는 점 이해를 해주시면 좋을 것 같습니다.
후반에서 많이 쓰이는 소프트웨어 몇 가지들을 소개해드릴게요. 일단 비디오 스티칭이라고 하는 소프트웨어가 아까 말씀드렸던 소프트웨어적으로 스티칭을 자동으로 해주는 그런 솔루션입니다. 이 회사는 이제 유럽에 있는 회사인데 흔히 바하나라고 하는 라이브 스트리밍 솔루션까지 같이 가지고 있는 회사예요. 그래서 그런 기본적인 소스들을 붙이는 소프트웨어를 가지고 있지만 라이브 스트리밍을 하기 위한 장치라든지 그런 소프트웨어들까지도 같이 라이센스를 제공하고 있습니다. 그래서 혹시라도 실사 기반의 라이브 스트리밍 계획이 있으신 분들은 이 사이트를 통해서 정보를 획득하실 수 있을 것 같습니다. 또 많이 쓰는 게 콜로에서 만든 오토퍼노라고 하는 프로그램인데요. 아까 비디오 스티칭하고 비슷한 프로그램인데 이 콜로라고 하는 회사는 고프로에서 인수를 했어요. 그래서 고프로에서 만들어진 솔루션들과 잘 융합이 되어 있는 형태이고 그 다음에 상용으로는 일반인들이 가장 많이 사용하는 그런 스티칭 소프트웨어라고 이해하시면 됩니다. 그렇게 막 어려운 인터페이스는 아니기 때문에 유투브라 던지 몇 군데 나와 있는 강의들 보시면 기본적인 스티칭은 어느 정도 가능하실 거예요. 물론 아까 말씀드렸다시피 그런 고도화된 스티칭까지는 이런 도구에서는 만들어내기가 쉽지 않습니다. 그리고 이제 아까 독립적으로 나와 있는 스티칭 소프트웨어 이외에도 우리가 많이 쓰고 있는 에프터 이펙트라든지, 모션이라든지, 프리미어라는 소프트웨어들이 있겠죠. 거기에 쓰여질 수 있는 프로그램들도 최근에 많이 나오고 있고요. 지금 소개해 드리는 스카이박스, 에프터 이펙트 같은 프로그램들도 실제로 구매해서 여러분들이 많이 쓰시는 소프트웨어 안에서 프로그램 형태로 사용할 수 있는 소프트웨어입니다. 프리미어도 나와 있고 여러 가지 버전별로 나와 있습니다. 그리고 다른 제품 중에 에프엑스 팩토리라고 하는 회사에서 만들어진 툴박스라고 하는 제품도 있고요. 이거는 이제 맥 사용자들을 위한 파이널 컷이나 모션에서 쓸 수 있는 프로그램이라고 보시면 됩니다.
지금까지 360 비디오 포스트 프로덕션에 대해서 설명을 드렸습니다. 제가 소개해드린 소프트웨어들 이외에도 프로덕션에서 많이 사용하는 누크라든지 혹은 카라 VR 같은 그런 고가의 소프트웨어들도 존재를 합니다. 일반인들은 아까 말씀드린 누크라든지 그런 프로툴 같은 고급 소프트웨어들까지 접근하기는 쉽지 않겠죠. 그렇지만 여러분들이 좀 더 욕심이 나신다면 누크라든지 프로툴 같은 하이 레벨의 소프트웨어들을 이용해서 좀 더 완성된 형태의 360 비디오에 도전을 해보실 수 있을 것 같습니다. 여기까지 제가 프리 프로덕션부터 포스트 프로덕션까지 360 비디오의 제작에 관한 전반적인 안내를 드렸습니다. 시간이 길지 않아서 제가 자세하게 다 설명 드리진 못했는데요. 현재 업계에서 많이 통용되고 있고 우리가 알아야 될 정보들 위주로 설명을 드린 것 같습니다. 제가 말씀드린 것 들을 베이스로 해서 여러분들께서도 한 단계 높은 형태의 360 비디오들을 기획하시고 더 좋은 결과물들을 만들어내서 360 브이알 시장에서 루키가 될 수 있었으면 좋겠습니다. 감사합니다.
01. 이 강좌에 대해서
포스트 프로덕션의 정의 및 프로세스, 관련 소프트웨어에 대한 소개 등 VR 콘텐츠 포르스 프로덕션에 대해 안내합니다.
02. 강사 소개
박정우 (서틴플로우 대표)
03. 강사 이력
- 現 서틴플로우 대표 - 前 NHN 검색 서비스 기획 운영 - 前 NHN Business Platform 검색 광고 영업 - 前 MagnaLAB Inc. 대표