지) 안녕하세요. [가상을 현실로, Virtual Studio의 모먼트] 시간입니다. 이번 시간에는 세종대학교 강윤극 교수님을 모시고 인카메라 VFX에 대해 말씀 드리도록 하겠습니다. 안녕하세요, 교수님.
강) 안녕하세요!
지) 교수님이 오늘 인카메라 VFX에서 말씀 주시기로 하셨는데요. 사실 이 인카메라 VFX가 2021년 굉장히 화두가 되어 있잖아요. 이런 부분들이 이제 몇 가지 테마들이 이야기 나오는데 리얼타임, 버추얼, 리모트. 이렇게 크게 세 가지 테마로 나눠지게 되는데 이 부분에 대해서 교수님이 한번 말씀 부탁드리겠습니다.
강) 네, 아무래도 2021년에 화두가 2020년도 그렇고 리얼타임, 버추얼, 리모트였잖아요. 사실 이제 리얼타임이라는 게 점점 가능해지고 실제 영화에도 쓰이게 된 가장 큰 이유는 아무래도 하드웨어 발전을 통해서 하드웨어의 가격이 하락하면서 그 반대로 또 성능은 향상되었고.
강) 또 이것과 어울러져서 그 소프트웨어 발전이 비약적으로 이루어지면서 인카메라 VFX가 실제 가능하게 된 거 같은데요.
지) 그러면 이제 여러 가지 인카메라 VFX에 대한 부분들을 가지고 얘기한다고 했을 때, 과거의 제작됐던 제작 형태들이 이제 인카메라 VFX랑 비교해서 얘기할 수 있는데요. 지금 보신 영상 같은 경우는 <정글북>에서 나왔던 기존의 VFX 샷들인데 이것에 대해서 교수님이 말씀해 주시면 좋겠습니다.
강) 보시는 자료는 정글북의 메이킹 영상입니다. 사실은 저 소년을 제외한 모든 에셋. 저희는 보통 에셋을 동물, 배경을 다 합쳐서 이야기하는데, 저 많은 에셋들이 주변 요소들이 다 CG로 구현이 된 사실은 저희 VFX 업계에서 중요한 모멘텀이 된 영화였는데요.
<정글북>에서 보시면 사실은 저 소년을 제외하고 나머지는 다 블루스크린으로 현장에서 촬영을 했잖아요. 그러다 보면 아무래도 저 현장에 계시는 나머지 모든 스텝들 나머지가 아니라 모든 스텝들이 저기 저 수많은 동물의 인터랙션과 움직임과 또 카메라가 지금 따라 가거든요? 소년을 따라가는 저 워킹 장면에서 배경의 변화라든가 이런 것들을 사실은 현장에서 확인하기 어렵거든요. 다 찍고 나서 VFX팀이 포스트비즈 정도 해야 그때 가서 ‘왜 사슴이 이렇게 가지?’ 라고 할 수 있는 이런 어려운 점들이 많았잖아요.
지) 네.
강) 다음 자료는 여러분도 잘 아시는 <어벤저스>의 가장 중요한 원인 샷이라고 저희가 부르는 배틀. 벌판에서 대낮의 벌판에서 전투 장면인데요. 지금 보시는 것처럼 <어벤저스>는 <정글북>은 블루스크린을 썼는데 소년의 스킨 컬러라든가 이런 것들 때문에 블루 스크린을 썼는데, <어벤저스>는 그린 스크린을 썼잖아요. 보시는 것처럼 물론 그 넓은 배경도 안 보이고 그 많은 그 군인들 이런 것들도 안 보이고 또 지금 보시는 것처럼 저렇게 올라타고 있는 지금 이제 모션플랫폼을 써서 이거를 사실은 이렇게 여기도 마찬가지로 모든 스텝이 과연 ‘이 장면이 어떻게 우리 카메라에 보일 것인가’, ‘이 장면이 어떻게 화면에 나올 것인가’ 사실은 각자의 머릿속에서 예상을 한 거를 갖고 짧게는 몇 달 뒤에 길게는 1년 뒤에 그거를 우리가 확인할 수 있었잖아요. 이런 어려운 점들에서 사실은 인카메라 VFX가 출발하지 않나 싶어요. 우리 대표님도 사실은 그동안 오랜 기간 동안에 영화 비주얼 VFX 작업을 많이 하셨잖아요?
지) 네, 맞습니다.
강) 이런 어려운 점들이 많으셨죠?
지) 네, 맞습니다. 사실 인카메라 VFX 자체가 용어가 저희가 VFX 라는 게 사실 시각효과고 후반에 대한 부분들이었기 때문에 현장에서 이렇게 뭔가 해결되지 않는 커뮤니케이션 이런 부분에서 많은 또 곤욕을 치르게 되는 경우들이 있잖아요. 각자 생각하는 그림이 다르고 원래 그 목적을 위해서 찍어야 될 부분이 제대로 찍히지 않은 부분들 그런 분들도 현장 스텝 간의 소통이 되지 않는 부분들도 있는데 이런 부분에서 이제 인카메라 VFX는 모두들한데 다 그 요구 조건을 맞추는 아주 좋은 기술적 트렌드가 아닐까 저도 늘 생각하고 있습니다.
강) 네. 아마도 우리 지명구 대표님이 사실은 누크라는 소트프웨어를 사용한 합성에서 출발하셨기 때문에 우리나라의 합성을 소개하셨고 그 합성에 수많은 인재를 배출하셨던 합성 컴포지션의 대가이시기도 한데요. 합성을 하려다 보면 그린스크린에서 촬영한 장면들은 일단 라이팅이 실제 우리가 저 뒤에 배경을 CG로 바꿨을 때 또는 매트페인트로 바꿨을 때 라이팅이 잘 안 맞는 가장 큰 어려움이 있었고, 두 번째는 저 그린스크린의 그린 라이트가 우리가 이제 ‘필’된다고 하죠. 입혀지는 거에 대한 그 뒤에 다 그 짐을 합성해서 치셨잖아요.
지) 네.
강) 그런 부분들은 어떠셨어요?
지) 사실은 그 부분들이 가장 어려운 부분들이죠. 크로마키에서 촬영한다고 하더라도 다 수작업으로 로토 작업을 해서 이제 합성을 마무리 지어야 하는 상황들이 참 안타까운 현실이었었죠. 지금 인카메라 VFX 등을 포함한 버추얼 프로덕션 기술들이 현장에 적용되면서 말 그대로 실시간으로 크로마킹에 대한 체크라든지 교수님이 얘기해 주셨던 것처럼 라이팅 디렉션에 대한 것. 그럼 미리 만들었던 배경 합성을 통해서 거기 계신 현장 스텝들과 소통하는 부분들에 대해서 분명히 효과적인 부분들이 있던 부분들도 있는 거 같습니다. 저희도 2019년도에 버추얼 프로덕션을 통해서 진행했던 프로덕션에서 그런 장점들이 확실하게 후반 제작하는 데까지도 스케줄이라든지 결과물까지도 오게 되는 상황들이 있었습니다.
강) 이건 또 다른 자료인데요. 마찬가지로 이제 <어벤저스>에 나왔던 장면인데 이렇게 그린 스크린에서 촬영을 한 거를 사실은 마지막에 이런 이제 파이널 백이 나와야 되는데 이게 이제 사실은 다들 그린 스크린만 보고 하다 보면 어려움들이 많았었는데요. 사실은 그 인카메라 VFX가 현장에서 제대로 사용하기 이전에도 이런 버추얼 스튜디오를 어떻게 해 볼 건가 좀 더 현장에서 인카메라로 VFX를 확인할 방법들이 없었을까 라고 많은 시도를 했었잖아요. 그래서 이제 게임엔진을 그동안에 많이 사용하게 됐는데 2019년에 들면서 사실은 지금 자료에 보고 계시는 이런 LED 월을 사용한 사실은 이제 아까 그린 스크린을 LED로 대체하는 이런 기술이 사실 2019년에 등장을 확인하게 되면서 소위 인카메라 VFX라고 하면 VFX를 현장에서 카메라에서 확인할 수 있는 이런 기술이 급물살을 타게 되는데요. 이것의 출연해 가장 큰 공로는 LED 가격이 싸졌고, LED의 조명이 밝기가 밝아졌고, 또 LED 뒤에 들어갈 수 있는 실시간에 어떤 3D 환경, 아까 그 저희가 보여드렸던 그린 스크린이나 블루스크린 뒤에 배경을 실시간으로 갈아 끼울 수 있는. ‘실시간’이라는 여기서 정의는 카메라의 움직임에 따라서 3D 뷰가 리얼타임으로 진짜 바뀌는, 그래서 카메라와 똑같이 뒤에 배경이 바뀌는 요런 것들이 기술이 발전되면서 이런 인카메라 VFX를 LED 월을 통해서 구현할 수 있는 게 우리가 2019년에 엄청난 파장을 일으켰던 것들인데요.
지) 네, 지금 보시고 있는 영상은 2019년도에 발표됐던 영상이잖아요. 시그라프에서 발표돼서 그 현장에도 계셨지만 굉장히 화두가 됐던 영상이었었죠.
이 부분에 대해서 또 교수님 또 좋은 말씀 부탁드립니다.
강) 네. 사실은 2019년 11월로 기억하고 있습니다. 2019년 11월에 발표가 된 걸로 기억하고 있는데요. 사실 이게 나왔을 때 다들 정말 ‘아 이게 진짜 이제 가능하구나’.
지) 네! 센세이션이 됐었죠!
강) 네, 센세이션한 파장을 일으켰는데요. 여기서 지금 이런 그 설명을 제외하고 나면 사실 저 공간이 어디 모하비 사막 같은 데서 찍은 공간이 아닐까 저희가 사실은 영상만 봐서는 모를 정도 굉장히 구현을 잘했었는데요. 지금 보시는 것처럼 이렇게 그 아주 크지 않은 작은 공간에서 실제 오토바이까지 갖다 놓고 여기 영상에서 보시면 시동 걸어서 붕붕붕 하고 있는데 ~ 그냥 봐서는 ‘저 사막에서 찍었나?’ 그런데 좀 있다가 시간이 갑자기 바뀌잖아요?
지) 네.
강) 저녁 노을 지는 걸로 바뀌었다가 구름이 그 안개가 잔뜩 끼는 공간으로 바뀌었다가 공간을 자유자재로 바꾸는 테크닉들을 보여주셨는데..
지) 심지어는 저기 있는 돌이 위치를 바꾸는 걸 보여준다든지.
강) 네. 실시간으로 뒤에 있는 돌산을 옮기는 또는 전체적인 지금 구름이 꼈을 때의 조명과 또 해질녘의 선셋, 선라이즈의 조명을 실시간으로 바꿔주고요. 또 그 현장을 카메라 앵글이 아니라 마치 우리가 로케이션 헌팅 가서 그 자리에서 그 장소를 눈으로 바라보는 것처럼 VR 헤드셋을 쓰고 그 현장에 로케이션 공간을 마음껏 이리저리 옮기면서 저희는 셋 드레싱이라고 하는데 세트를 그 자리에서 드레싱하는 것들을 소개해주면서 사실은 굉장히 저희가 놀랬었거든요. 그래서 이 영상이 2019년에 에픽게임즈가 이런 주된 기술들을 개발해서 소개를 해 줬는데요.
지) 그리고 요 영상 자체도 굉장히 흥미로운 부분들인데 드라마나 영화에서 실질적으로 사용됐던 사례로 알려져 있는 <만달로리안> 화면인데요. 여기에 대해서도 또 교수님이 얘기해 주실 내용이?
강) 네. <만달로리안>은 사실은 전체 샷에 반절 50% 이상을 이렇게 인카메라 VFX. 여기서는 저희가 아예 대놓고 LED 월이라고 하는데 LED 월에서 촬영을 했고요. 앞에 보여드렸던 그린 스크린이나 블루 스크린에서 있었던 그 가상의 배경도 특히 이제 <만달로리안>은 여기 나오는 모든 배경이 사실 존재하지 않잖아요? 어디 가서 찍기도 어렵고 뭐 세트로 다 만들어야 되고 세트가 사실을 존재하지 않는 미지의 공간이어야 됐기 때문에 사실 이런 공간을 이렇게 로케이팅 헌팅해서 찍기도 어렵고 또 저런 공간이 있다면 사막 한가운데 막 이래서 전기도 없고 물도 없고 날씨도 굉장히..
지) 만드는 것도 거의 불가능할 정도로.
강) 네. 만드는 것도 불가능하고 했는데 사실은 이제 인카메라 VFX, LED월을 사용한 인카메라 VFX가 등장하면서 이러한 이제 <만달로리안>, 사실은 스타워즈에 나오는 이런 가상의 배경들을 마음껏 구현할 수 있었잖아요?
지) 너무나 이게 또 사람들이 대단하다고 느낀 게 말 그대로 저 장르 자체가 SF고 그러다 보니까 메탈릭한 어떤 장비라든지 이런 부분에서 기존의 크로마였으면 표현이 되질 않잖아요.
강) 그렇죠. 거기에 그린 필 다 묻어가지고.
지) 네, 이런 부분들이 이제 가장 LED로 하는 인카메라 VFX에 가장 대체할 수 있는 리플렉션에 대한 처리 부분들. 이게 저는 우선은 가장 필요성이 보여주는 사례라고 생각이 됩니다.
강) 제가 사실은 디즈니 플러스 채널을 백도어로 가입해 가지고 한국에서 원래 구독이 안 되잖아요? 백도어로 가입해서 <만달로리안> 나오자마자 봤는데, 어디가 LED 월에서 찍은 건지 어디가 진짜 세트인지 사실은 다 LED 월에서 찍었는데 이 <만달로리안>은 전체 샷의 반절 이상을 이 LED 월로 찍었잖아요? 제가 눈으로 봐서는 사실은 찾을 수가 없었어요. 여러 번 풀 HD로 놓고 여러 번 봤지만 짐작은 갔죠. 이거 분명히 LED에서 찍었을 텐데. 보통은 저희가 이제 비주얼 FX샷을 구분해 낼 때 조명 정보, 그 찍힌 피사체의 주인공이나 이런 분들의 조명이나 갑옷에 비친 리플렉션 같은 것을 저희가 꼬집어 보면서 ‘아, 이것은 버추얼 세트, 그린 스크린 세트에서 찍고 매트 페인팅을 갈아 꼈거나 이럴 것이다’ 라고 했는데 사실은 워낙 특히 여기 그 갑옷에 비친 우주선에 비친 리플렉션들이 워낙 자연스러워서 눈으로는 사실은 심증은 가지만 물증은 못 찾았던 이런 재밌는 장면들을 많이 볼 수 있었잖아요.
지) 예전에는 실제로 갑옷을 입고 찍었지만 여기 리플렉션 표시하기 위해서 더미로 매치메이션 모델링을 만들어서 똑같이 따라 가는.
강) 갑옷을 다 깔아 껴야죠.
지) 네. 그래서 CG로 하는 그런 경우들이 얼마 전까지도 있었는데 이런 부분들이 다 사라지게 된 거죠.
강) 그렇죠. 앞쪽에서 보여드렸던 <어벤저스>만해도 <어벤저스>에 등장하는 여러 캐릭터들이 다 그 메탈릭한 소재의 의상을 입으셨잖아요? 그런데 이제 <어벤저스>에서는 그냥 그걸 다 CG를 원래 그냥 저희가 다 갈아 끼우는 걸로 대체를 했었는데 여기 인제 <만달로리안>에서는 그 사실 나오는 다양한 그런 그 반짝이는 소재들이 그냥 현장에서 다 촬영이 되고 그게 특별한 후반 작업 없이 구현이 됐었잖아요? 그래서 사실은 <만달로리안> 한 편을 전체 시리즈를 다 50% 를 이렇게 촬영을 해내면서 이런 인카메라 VFX의 시대를 제대로 열어주신 길을 굉장히 잘 보여 주셨던 거라고 제가 얘기할 수 있겠어요. 그래서 이제 <만달로리안>이 이렇게 성공적으로 진행이 되면서 이제 이 가장 <만달로리안>에서 인카메라 VFX가 구현하게 할 수 있었던 사실은 가장 큰 주역이 에픽게임즈잖아요?
지) 네, 맞습니다.
강) 그래서 에픽게임즈의 사실은 어떤 그 보이지 않는 굉장히 큰 서포트가 있었다고 저희는 볼 수 있는데요. 그래서 에픽 게임즈가 기존에 저희가 흔히
부르는 게임 엔진이라는 이런 차원을 넘어서 게임뿐만 아니라 영화까지 우리가 다 구현할 수 있게 앞으로 해주겠다 이 모토를 굉장히 저희는 환영하고 있는데요.
지) 그러면 이런 기술들이 사실은 언리얼이 있기 때문에 구현이 가능한 부분들이라고 얘기를 많이 하잖아요? 이것에 대해서 교수님이 또 얘기해 주실 부분들이 있으실까요?
강) 지금은 언리얼 엔진 버전 5가 공개가 됐는데요. 지금 영상은 4.27 버전에서 락을 시켜서 이런 버추얼 스튜디오, 인카메라 VFX를 활용한 버추얼 스튜디오의 매뉴얼이라고 할 수 있는 이런 데모를 보여주셨는데요. 이런 데모를 통해서 저희 같은 이렇게 인카메라 VFX를 구현하고 영화나 영상에 적용하고 싶은 사람들에게 어떤 매뉴얼 같은 ‘자, 우리가 이렇게 잘 하고, 잘 됐으니 여러분들도 잘 쓰십시오’ 라고 하는 좋은 매뉴얼 같은 영상이 될 것 같아요.
지) 너무나 좋은 거 같은 게 기존의 <만달로리안>이나 사용됐던 인카메라 VFX 기술은 기존에서도 정착화되지 않은 기술들이었기 때문에 아마 저도 듣기로 디즈니에서 많은 시간과 많은 비용을 들여서 만들었던 기술이었었죠.
강) 맞습니다.
지) 그런 부분을 저희들이 따라서 똑같이 만들 수 없고, 똑같이 하기에는 굉장히 한계들이 많았는데 이 에픽게임즈에서 이런 부분들을 모델을 제공해 줌으로써 저희들도 그런 부분을 제작할 수 있는 희망을 더 갖게 해주는 아주 좋은 사례인 거 같아요.
강) 맞습니다. 에픽게임즈의 홈페이지에 가보시면 사실은 에픽게임즈가 원래는 저희는 이제 게임 엔진이라고 더 이상 부르지 않고, 리얼타임 렌더러. 인터랙티브 리얼타임 렌더러라고 부르잖아요? 그 렌더러만 제공하는 걸로도 굉장히 도움이 되는데, 홈페이지에 가서 튜토리얼 찾아보시면 지금 이 영상과 함께 이런 인카메라 VFX를 구현하는 데 필요한 다양한 솔루션들이 굉장히 자세하게 잘 돼 있어요. 그래서 이 영상을 보시고, 앞으로 인카메라 VFX를 구현하시고자 하시는 분들은 에픽게임즈에 가면 답이 거의 다 있습니다. 그래서 굉장히 도움을 많이 받았고요. 개인적으로 에픽게임즈에게 이런 인카메라 VFX 산업을 열어주고 지금도 여전히 강력한 서포트를 해 주시고 계신 데에서 감사의 말씀을 드리고 싶어요.
지) 국내에서도 많은 인카메라 VFX의 사례들이 나오고 있는데요. 이 사례들에 대해서도 교수님이 얘기해 주실 내용이 있으시면 설명해 주시면 좋겠습니다.
강) 네. 국내 케이스를 이야기해 드리면 Xon 스튜디오를 얘기 안 할 수가 없는데요. 이 Xon 스튜디오는 인카메라 VFX 특히 LED 월을 활용한 인카메라 VFX의 전문 회사고요. 이 인카메라 VFX를 활용해서 광고라든가 또 어떤 이커머스, 제품의 광고, 홍보, 시연 이런데도 인카메라 VFX가 아주 활발하게 사용되고 있는데요. 대표님께서는 지금 보시는 이런 차량 씬! 이런 거에 굉장히 경험이 많으시죠?
지) 이 VFX를 하는 사람의 입장으로서 저 차량 씬에 대해서 크로마로 촬영됐던 이전의 사례들을 보면 정말 이제 노력 대비 굉장히 고생을 많이 하는 저희들이 봤을 때는 ‘늘 의미 없는 짓이다’ 라고 얘기했던 저 차량 씬 부분들이 인카메라 VFX를 통해서 효과적으로 하는 부분들은 너무나 좋은 것 같습니다. 실제로도 국내에서도 영화나 드라마에서 모든 부분들이 다 인카메라 VFX를 안 쓰지만 이 차량 씬만은 지금 앞 다퉈서 거의 다 인카메라 VFX 씬으로 찍고 있지 않습니까?
강) 네. 사실 이제 차량 씬이 앞에서 <스타워즈>에 말씀드렸던 것처럼 리플렉션 요소가 굉장히 많잖아요? 그리고 차량을 광고 하려다 보니 차량이 굉장히 돋보여야 되고 또 그러다 보니 굉장히 리플렉션이 굉장히 심하게 저희가 집어넣을 수밖에 없었는데 그걸 그린 스크린에서 찍자니 주변에 스텝도 걸리고 조명도 걸리고 카메라도 걸리고 이런 어려운 점이 많았죠.
지) 밝기라든지. 그리고 이게 리플렉션이 되다 보니까 크로마가 360도 다 처져 있지 않다 보니까 얘기하신 것처럼 모든 스텝들이 나온다든지 카메라가 나온다든지.
강) 어딘가 걸려야 되고,
지) 그러다 보니까 그런 부분에 자연스런 또 흐르는 리플렉션 넣어 줘야 되고 뭔가 갈아 끼워야 되다 보니까 또 CG로 만들어야 되고 매번 크로마를 쓰는 이유가 없는...
강) 네, 맞습니다. 그래서 이제 이런 해외 여러 사례들이 있는 와중에 우리나라에도 이런 이제 사실 <만달로리안> 못지않은 사례들이 생겨나게 되는데요. 우리의 콘텐츠 기술과 함께 이런 인카메라 VFX을 통한 새로운 콘텐츠 또는 새로운 장르, 새로운 촬영의 방식, 제작의 방식을 우리나라가 선도할 수 있는 좋은 기회라고 생각합니다.
지) 오늘 말씀 교수님 감사드립니다. 지금까지 [가상을 현실로, 버추얼스튜디오 모먼트] 시간이었습니다. 감사합니다.