안녕하십니까! 정해운입니다. 오늘은 혼합현실 및 실감 컨텐츠의 제작과 사례에 대해서 말씀 드리도록 하겠습니다. 일단 AR과 VR에 대해서 먼저 말씀을 드려야 될 것 같아요.
AR 같은 경우는 다들 아시다시피 핸드폰이나 led, 이런 것들을 통해서 사람들이 그 디바이스를 통해서 뭔가 판타지를 좀 보게 되는 그런 것들이고 VR같은 경우는 아예 HMD라는 도구를 머리에 쓰고 사람들이 눈을 가린 채로 새로운 판타지를 체험하게 되는 그런 것이라고 생각할 수 있겠습니다.
그렇다면 MR이라고 불리는 믹스 리얼리티는 뭘까요? 이건 HMD를 써서 눈을 가리고 뭔가를 디바이스로 눈을 가린다기보다 실제로 나와 있는 이 세상과 그 다음에 그 영상이나 CG 같은 것들과 함께 이게 섞여서 새로운 판타지를 좀 보게 해주는 그런 것들이라고 생각을 해 주시면 됩니다. 그래서 최근에 있는 홀로렌즈라던지 그런 것들도 믹스 리얼리티에 속하고 실감미디어도 믹스 리얼리티에 속한다고 생각해 주시면 될 거 같습니다. 일단 실감미디어에 속해 있는 미디어 파사드에 대해서 좀 설명을 드리려고 합니다. 일단 미디어 파사드란 무엇이냐? 라고 하면 미디어는 매체, 그런 아시다시피 이런 미디어 부분들이고, 다음에 파사드는 그 건물에 외관, 건물에 대한 그런 이야기에요. 그래서 건물에 어떤 미디어적인 장치와 컨텐츠를 통해서 새로운 무언가를 보여 주는 걸 미디어 파사드라고 하고요. 그렇다면 프로젝션 맵핑은 무엇이냐? 미디어 파사드와 프로젝션 맵핑이 굉장히 혼용되는 경우가 많거든요. 개념 자체가 사실 좀 혼용되는 부분도 있겠지만 조금 다릅니다. 프로젝션 맵핑은 프로젝션, 말 그대로 프로젝터를 활용한 그 다음에 맵핑, 맵핑 같은 경우에는 지도를 만들다. 이런 뜻도 있지만 사실 3D쪽 기술에서 이게 그 텍스처를 입히는 어떤 모델링 자체의 어떤 오브젝트에 텍스처를 입히는 그런 것들을 맵핑이라고 합니다. 그래서 프로젝션 맵핑이라면 프로젝터로 어떤 오브젝트에 이런 텍스처, 이런 질감 이런 것들을 입힌다 라고 생각을 해 주시면 됩니다. 그래서 미디어 파사드와 프로젝션 맵핑이 이런 교집합 관계에 있어요. 그래서 미디어 파사드 같은 경우는 일단 건물이라는 오브젝트가 먼저 성립이 돼야 됩니다. 건물이라는 오브젝트에 led로 하드웨어를 만들고 컨텐츠를 표출하느냐, 그리고 프로젝터로 건물에다가 영상을 쏴서 컨텐츠를 보여 주는 것도 다 미디어 파사드에 속한다고 생각하시면 됩니다. 프로젝션 맵핑은 일단 프로젝터를 활용을 해야 되겠죠. 그렇기 때문에 건물의 벽면에 프로젝터로 컨텐츠를 표출하는 게 미디어 파사드와 프로젝션 맵핑의 교집합 한 가운데 포함되어 있다고 생각해 주시면 될 거 같아요. 그래서 그 건물을 오브젝트로 설정을 해서 건물에 이제 프로젝터로 컨텐츠를 표출을 하거나 아니면 건물이 아니고 예를 들면 실내라던지 아니면 신발, 아니면 책상, 뭐 여러 가지가 될 수 있겠죠. 그런 오브젝트에 프로젝터로 컨텐츠를 표출해 주는 거 이거를 전부 다 프로젝션 맵핑이라고 합니다. 그렇다면 이거에 대한 좀 상세한 예시들을 좀 보시도록 할까요? 일단 이 레퍼런스들은 led로 만든 미디어 파사드입니다. 그래서 가장 손쉽게 보실 수 있는 게 서울역 앞에 있던 그 건물에 led로 저렇게 사람이 지나가는 그런 컨텐츠라든지 그 다음에 갤러리아 백화점이라고 하죠. 백화점 외벽에 led로 저렇게 영상처럼 보이는 좀 아름다운 것들이 보이는 그런 것들, 이거 같은 경우는 사실 지나면서 많이 보셨을 거예요. 그래서 이 부분도 미디어 파사드의 일종이라고 생각해 주시면 될 거 같습니다. 그리고 해외 사례로는 두바이에 버즈칼리파라는 건물이 있습니다. 그래서 두바이 버즈칼리파 건물에 전체를 다 led로 마감을 했어요. 그래서 거기에 영상을 표출하는 그런 부분입니다. 이 부분은 저희가 또 작업을 했던 것도 있어서 제가 영상을 한번 보여 드리도록 하겠습니다.
지금 영상은 보시는 바와 같이 그 아까 말씀 드렸듯이 버즈칼리파라는 거대한 건물에 led를 일일이 다 설치를 하는 겁니다. 그래서 설치한 led 에 맞춰서 영상을 제작을 하고, 거기에 영상이 그대로 투사가 되는 그런 방식입니다. 그래서 이거 같은 경우는 사실 장점은 컨텐츠 제작이 굉장히 쉽습니다. 그래서 뭔가 프로젝터로 컨텐츠를 제작할 때는 굉장히 좀 여러 가지 선행되어야 될 작업들이 많지만, led 미디어 파사드는 사실 led 가 설치되어 있는 가이드라인만 따라서 영상을 만들어 주면 되기 때문에 영상을 제작하고 그 다음에 보여주는 게 굉장히 쉽습니다. 또 하나의 장점은 밤뿐만이 아니라 낮에도 보인다는 거죠. 이 부분이 가장 큰 장점이라고 할 수 있겠습니다. 그러면 단점도 있겠죠. 단점 같은 경우는 일단 영상이 선명하지 못합니다. 방금 보셨겠지만 좀 멀리서 봐서 그렇지 굉장히 그 픽셀 하나 하나가 피치가 떨어져 있는 그런 모습을 보실 수가 있게 되고요. 그리고 이제 굉장히 미디어 파사드의 백미다 라고 하는 착시현상, 뭔가 건물이 약간 무너져 내린다던지 구멍이 뚫린다던지 하는 그런 식의 아니면 공간이 더 뒤로 보인다든지 이런 식의 착시현상이 좀 어렵다 그런 표현들이 어렵다는 게 단점이라고 보여집니다. 다음에는 이제 프로젝션 맵핑을 통한 미디어 파사드를 한번 소개를 해 드리겠습니다. 이건 조금 아마 led 보다는 조금 덜 보셨을텐데 예전에 광화문에 전체적으로 오퍼레이션 맵핑을 해서 새로운 영상을 보여줬던 적이 있었죠. 그리고 판문점에서 남북 정상회담을 할 때 판문점에 있는 건물에 미디어 파사드로 평화의 메시지를 전달했던 그런 기억도 있습니다. 그리고 해외 호주 시드니 오페라하우스에서도 매년 이런 미디어 파사드 축제 같은 것들을 하면서 저런 식으로 보여주고 있고, 디즈니랜드 같은 경우는 매일 저녁마다 파크가 닫기 전에 미디어 쇼를 하면서 프로젝션 맵핑을 굉장히 잘 활용하고 있습니다. 이 중에서 저희가 했던 것들로 한번 레퍼런스를 좀 보여 드리도록 하겠습니다.
이거는 2019년도 말에 서울라이트라고 해서 ddp에서 진행했던 큰 미디어 파사드 쇼입니다. 그래서 이거 같은 경우는 3만안시 프로젝터가 28대가 쓰이는 굉장히 좀 커다란 미디어 파사드라고 볼 수 있는데요. 보시다시피 굉장히 건물 자체에 굉장히 디테일한 그런 영상들이 많이 들어갈 수가 있습니다. 그래서 led로 하는 미디어 파사드와는 달리 밤 밖에 볼 순 없지만 훨씬 더 디테일하고 좀 더 아름다운 그런 장면의 미디어 파사드를 즐길 수가 있게 되는 것이죠. 하지만 만드는 것도 굉장히 좀 복잡한 그런 과정들을 거쳐야 되기 때문에 led 미디어 파사드와 프로젝션 맵핑 파사드는 굉장히 서로 성격이 다르기 때문에 각각 그 때에 따라서 맞는 방식을 택하면 될 것 같습니다.
이제 건물에다가 쐈던 프로젝션 맵핑도 보여드렸는데 사실 굉장히 여러가지 종류의 프로젝션 맵핑이 있습니다. 그래서 많이 보셨을 수도 있겠지만 테이블에 접시나 이런 부분에 프로젝션 맵핑을 해서 마치 음식이 나오기 전에 무슨 일이 벌어지는 것 같이 그렇게 표현하는 것도 있고요. 사람의 얼굴에 프로젝션 맵핑을 해서 뭔가 색다른 효과를 주는 그런 것도 있습니다. 그리고 요즘엔 좀 많이 쓰이는 방식인데 이머시브 맵핑룸이라고 해서 굉장히 커다란 그런 방에 벽면과 바닥면 전부 다 프로젝션 맵핑을 해서 이 공간 자체가 하나로 뭔가 어느 다른 곳에 와 있는 것 같은 그런 장소로 만들어 주는 기법이 또 있습니다. 그래서 이런 이머시브 룸도 프로젝션 맵핑의 기법 중에 하나라고 생각해 주시면 되겠고요. 이제 좀 다들 많이 아실 만한 거는 평창 올림픽 개·폐막식 때 바닥부분에 퍼포머들이 막 나오고 바닥부분에 영상이 같이 어우러졌던 거를 기억하실 거에요. 그게 그라운드 맵핑이라고 해서 이런 바닥부분이나 이런 쪽에다가 프로젝션 맵핑을 같이 넣었던 그런 기법이라고 생각해 주시면 될 것 같습니다.
그 중에서 제가 아까 잠깐 말씀 드렸던 이머시브 룸에 대해서 좀 자세히 설명을 드릴게요. 이거 같은 경우는 저희가 남산타워에 작업했던 거를 기반으로 가져온 건데 지금 저 정도 공간입니다. 한 160평 정도 되는 공간에 저희가 벽면과 바닥면 전체를 프로젝터 35대를 사용해서 전부 다 이머시브 룸으로 구축을 해 놓은 상태입니다. 그래서 처음 들어오는 공간은 약간 프리쇼 공간이라고 생각해 주시면 되고, 저 꼬불꼬불한 길을 따라서 들어오게 되면 저기에 프로젝터가 여러대 설치 돼서 새로운 공간으로 완전 보이게 되는 그런 것이죠. 지금 이렇게 한 방에다가 프로젝터를 30대 이상 설치하려면 굉장히 많은 그런 것들이 소요가 됩니다. 그래서 아까도 말씀 드렸듯이 프로젝션 맵핑이 좀 많은 것들이 선행이 되어야 된다고 했는데 추후에도 말씀 더 자세히 드릴 거지만 이 프로젝터들을 하나 하나 다 좋은 위치로 설치 하기 위해서 이 공간을 전체적으로 스캐닝을 한번 합니다. 그래서 3D 스캐너로 이 공간을 그대로 떠서 이 공간이 어떻게 되어 있는지부터 그 3D 데이터로 가져 오는 거죠. 그런 다음에 프로젝트를 하나 하나 가상으로 배치해 보면서 시뮬레이션을 합니다. 이 천장에 거의 다 매달아야 되기 때문에 천장에 있는 배관이나 이런 부분들도 다 신경을 써서 저런 식으로 그 배관에 맞춰서 구조에 맞춰서 프로젝터들을 설치하고 설계하게 되는 거죠. 이때 이제 프로젝터가 몇 대 들어간다, 몇 안시 정도가 들어가서 어떤 밝기가 나오겠다, 이런 부분들이 이때 다 시뮬레이션이 됩니다. 그래서 이런 이머시브 룸 같은 경우나 거대한 미디어 파사드 같은 경우는 특히 프로젝션으로 하는 거는 하드웨어에 대한 부분들을 미리 이렇게 시뮬레이션으로 다 알아 보고 난 후에 진행을 해야 되는 거라고 말씀 드릴 수 있겠습니다. 그래서 저희가 이런 공간에 이런 이런 컨텐츠들이 나올 것이다 라고 하면서 이런 키 비주얼들을 만들어 봐요. 이 공간에 이런 것들이 이렇게 영상이 쓰이면 이런 느낌이겠구나 아니면 약간 이런 느낌으로 보여줄 수 있겠구나 라고 하면서 저희도 단순히 아무것도 없이 그냥 영상을 만드는 것 보다는 어떤 식으로 보여줄지에 대한 이런 키 컨셉을 딱 잡아 놓고 만들게 되면은 이걸 기획하는 기획자들도 그리고 디자인하는 디자이너들도 아 이런 식으로 해서 이런 느낌을 이 공간에 주면 되겠구나 라고 하는 커뮤니케이션 도구로 사용이 되는 거죠. 그래서 여러 가지 그런 이미지들과 컨셉들이 먼저 나오게 됩니다. 그리고 콘셉들을 바탕으로, 여러 가지 컨셉들을 바탕으로 이 작업이 들어가게 되는 거죠. 그래서 완성된 공간에 대한 영상을 한번 보시겠습니다.
보셨다시피 조금 층고가 낮아서 아쉬운 부분은 좀 있었지만 그래도 사람들이 이 공간에 딱 들어왔을 때 그래도 와! 하는 탄성이 나오는 그런 기법입니다. 그래서 이머시브 룸은 현재도 좀 많이 사용이 되고 있고 앞으로도 훨씬 더 많이 활용이 될 그런 기법이라고 생각해 주시면 될 것 같습니다. 프로젝션 맵핑과 미디어 파사드에 대해서 알아보았는데요.
이제는 홀로그램에 대해서 한번 좀 알아보도록 하겠습니다. 홀로그램은 크게 말씀 드리면 일단 플로팅 방식과 메시 방식 두 가지가 있습니다. 그리고 현재 저희가 알고 있는 모든 홀로그램 구현 가능한 모든 홀로그램은 유사홀로그램이라고 생각해 주시면 될 거 같습니다. 그래서 진짜 영화에 나오는 아이언맨이나 스타워즈에 나오는 그런 홀로그램은 아직 개발 되지 않았습니다. 그래서 앞으로 좀 더 많은 시간들이 걸려야 이것들이 그 영화에서 보이는 것처럼 개발이 될 거고 아무것도 없는 허공에 영상이 맺히는 그런 것들이 좀 개발 될 거고요. 현재는 그런 방식은 불가능 합니다. 그래서 마치 홀로그램처럼 보이게 하는 유사홀로그램 방식 두 가지가 아까 말씀 드렸듯이 플로팅 방식과 메시 방식 두 가지로 표현이 됩니다. 일단 플로팅 방식에 대해서 설명을 드리겠습니다. 둘 다 굉장히 쉬워요. 플로팅 방식 같은 경우에 차에 요즘에 많이 있는 허드 디스플레이 있잖아요. HUD 디스플레이를 한 번 생각해 보시면 그 디스플레이의 방식과 원리가 똑같습니다. 바닥부분에 영상을 투사를 하고 그 위에 45도 형태로, 이렇게 말씀드리면 좀 웃기지만 김장비닐 같은 그런 홀로그램 호일이라고 하는 좀 두꺼운 그런 투명 비닐을 쓰게 됩니다. 그래서 이거를 평평하게 펴서 바닥 영상이 나오는 곳에 45도 형태로 세우게 됩니다. 그리고 바닥면에 영상이 투사가 되면 그 투사된 영상이 자연스럽게 45도 플로팅 홀로그램 호일에 비쳐서 마치 허공에 떠 있는 것 같은 그런 효과를 주는 거죠. 이때 가장 중요한 거는 이때 그냥 바로 여기다 영상을 쏘고 그 다음에 그 영상 쏜 게 여기에 비쳐 보이는 걸로만 끝내선 안 됩니다. 이 뒷면에 그 뭔가 조명이라던지 아니면 빽으로 된 영상이라든지 이런 부분들을 같이 써서 댑스감이 있게 보여야 되는 거죠. 이 앞에는 홀로그램으로 돼 있는 컨텐츠가 있고 뒤쪽에는 어떤 공간이 있구나 아니면 어떤 콘텐츠가 있구나라고 좀 인식을 시켜줘야 사람들에게는 이게 홀로그램효과가 나는구나 라고 인식이 됩니다. 그냥 완전 블랙인 상태에서 그 홀로그램만 띄워 놓으면 사실 굉장히 화질 좋은 led 로 영상을 띄워 놓은 거랑 크게 다를 게 없어요. 그렇기 때문에 이 공간 자체를 더 활용해서 홀로그램처럼 보이게 해야 된다는 것이 가장 중요합니다. 그래서 저희가 이제 홀로그램 영상을 활용해서 45도 프로팅 방식을 활용해서 애니메이션 캐릭터들을 좀 데리고 와서 이렇게 진짜 실제로 나온 것 같은 느낌을 준 영상을 한번 보도록 하겠습니다.
보시다시피 저희는 이제 어떤 한 애니메이션 속의 아파트 내부에 이런 캐릭터들이 나오는 그런 것들을 사람들에게 좀 보여 주고 싶었고 아까 말씀 드렸듯이 그 45도 홀로그램으로 보이는 캐릭터 뒷면에 인테리어들을 활용해서 실제 아파트가 있는 그런 파이프라던지 아니면 뭐 약간 부서진 벽이라든지 그런 것들을 뒤쪽에 넣고, 앞 쪽에서도 이렇게 딱 네모나게 잘라서 영상이 여기는 보여지는 곳이다 홀로그램이 보여지는 곳이다 라고 하는 그런 거를 좀 놓지 않고 네모나게 잘라 준 부분도 뭔가 벽이 부서진 것처럼 표현했습니다. 그래서 영상 자체만 실감난다고 되는 게 아니라 이 영상 받쳐 주는 그 여러 가지 아날로그적인 부분들까지도 같이 어우러져야 이게 진짜 실감미디어라고 불릴 수 있는 그런 게 되는 게 아닐까라고 생각을 하고 있습니다. 그리고 이제 메시 홀로그램에 대해서 설명을 드리겠습니다. 메시 홀로그램은 아까 45도 플로팅 홀로그램 보다 훨씬 더 쉬운 케이스입니다. 그래서 이거 같은 경우는 모기장 같은 걸 연상하시면 돼요. 그래서 모기장 같은 거를 앞에다가 걸어 놓고 그 다음에 프로젝터로 이 모기장을 쏩니다. 메시 홀로그램 스크린을 쏘게 되면 여기에 영상이 맺히게 되겠죠. 그리고 이거 같은 경우가 아까 말씀드린 뒤에 뭔가 오브젝트와 배경이 있어야 된다는 거를 더 많이 거기에 좀 의존되는 그런 방식이라고 말씀드릴 수 있겠습니다. 그래서 이거 같은 경우는 아까처럼 애니메이션 캐릭터나 사람을 홀로그램으로 띄우는 것 보다는 이펙트나 사람 이렇게 손짓을 했을 때 손에서 불이 확 피어오른다 라던지 하는 그런 이펙트를 만드는 거에 좀 더 특화돼 있는 부분입니다. 그래서 설치나 예산이나 이런 부분들은 훨씬 낮지만 퀄리티가 아무래도 조금 더 떨어지기 때문에 이 부분은 좀 빠른 무대 전환을 해야 되거나 무대에서 좀 이렇게 라이트하게 써 줘야 될 때 그때 좀 많이 쓰는 방식이라고 생각될 수 있겠습니다. 그래서 이거 같은 경우는 뒤쪽에 사람이 웬만하면 무조건 있어야 사람을 퍼포머를 보조해주는 수단으로 쓰는 홀로그램이라고 생각하면 될 거 같습니다. 그래서 이 메시 홀로그램의 장점으로는 설치가 굉장히 쉽다, 그리고 예산이 훨씬 적게 든다 라는 그런 부분들을 좀 두시면 될 거 같습니다. 근데 단점이 조금 많습니다. 그래서 단점 같은 경우는 퀄리티가 플로팅 방식에 비해서 훨씬 좀 떨어진다, 그리고 아무래도 뒷면에 그 영상이 더블 이렇게 두 개가 더 맺히는 그런 상황이 좀 많이 발생할 수 있다, 이런 부분들이 좀 단점이고요. 그 다음에 사람이 실제 퍼포머가 있는 상태에서 그 퍼포머를 보조해주는 그런 수단으로 좀 많이 사용을 합니다. 그래서 메시 홀로그램같은 경우는 또 굉장히 어두운, 암전이 된 상태에서만 사용이 가능합니다. 밝을 때 보게 되면 홀로그램 스크린이 거의 다 보이기 때문에 완전히 어두운 상태에서 퍼포머가 있고 내 앞쪽에 홀로그램 스크린이 설치가 되고 저쪽에서 영상을 투사를 하게 됩니다. 그러면 이 사람한테 좀 강한 그 필라이트 조명을 쏴주면 뒤에 있는 사람이 굉장히 밝게 보이면서 메시 스크린이 투명해보이는 그런 원리를 가지고 있다고 생각합니다. 또 이 장점으로는 아무래도 그냥 약간 천 같은 거 다 보니까 여러가지 모양으로 재단을 해서 사용을 할 수가 있어요. 그래서 저희가 스크린을 그냥 일자로 쓴 게 아니라 원통형으로 사용했던 그런 레퍼런스들을 한번 보여 드리도록 하겠습니다.
지금 보신 영상 같은 경우는 일단은 기본적으로 돔형으로 영상을 쏩니다. 그래서 돔으로 해서 영상이 다 풀로 들어가는 돔이 하나 있고, 그 돔 중간에 원통형으로 홀로그램을 사용을 하게 됩니다. 그리고 이 원통 속에 퍼포머가 들어가서 전체적으로 스토리를 이끌어가는 한 20분짜리 공연이었는데요. 설치는 조금 그냥 원래 메시 홀로그램 스크린을 쓰는 것보다 조금 까다롭긴 했지만 굉장히 효과가 좋았던 그런 프로젝트라고 생각을 합니다. 여러 가지 그런 것들을 말씀을 드렸는데 메시 홀로그램 같은 경우는 아까 보신 것처럼 공연이나 이런 쪽에도 많이 사용이 되지만 다른 분야에도 많이 사용이 되고 있습니다. 그래서 좀 특이한 예시를 하나 좀 보여 드릴 텐데 이거 같은 경우는 수족관 아쿠아리움에 있는 수족관에 메시 홀로스크린을 덧대서 새로운 시도를 한 테스트 영상을 보여 드리도록 하겠습니다.
지금 보신 바와 같이 홀로그램 스크린을 앞에 놓고 이제 영상을 보여 주는 약간 그런 방식이었죠. 근데 이거 같은 경우는 아무래도 저희가 테스트를 하다 보니까 굉장히 좀 러프하게 손으로 들고 있고 좀 이렇게 하긴 했는데 효과는 굉장히 좋았습니다. 이게 물론 홀로그램 스크린의 성능이나 프로젝트의 성능도 있겠지만 저는 이런 곳에서 끌어내는 컨텐츠의 힘이라고 생각을 합니다. 저 컨텐츠가 만약에 전혀 상관없는 다른 컨텐츠였다 라고 한다면 사실 사람들이 봤을 때 뭐 그냥 그 허공에 유리에 영상이 보이는구나 라고 생각을 했을 겁니다. 근데 상어가 나타나서 아쿠아리움 속에 상어가 있어서 상어가 나타나서 막 달려와서 유리를 쾅 찍고 유리에 금이 가고 그 다음에 물이 막 새는, 이런 사실 좀 실제로 이 공간에서 있을 법한 일에 대한 것들을 컨텐츠로 조금 더 풀면 사람들이 이제 받아들이기에는 어 그냥 신기하다 재밌는 영상이다 해서 굉장히 재밌고 굉장히 실감나고 굉장히 좀 빠져든다 라는 그런 컨텐츠가 될 수 있다 라고 좀 생각을 합니다. 오늘 그 홀로그램과 미디어 파사드, 프로젝션 맵핑에 대해서 실감미디어 전반에 걸쳐 쓰이는 기술들에 대해서 알아보았는데요. 다음 시간에는 이런 것들을 다 어떻게 직접 만들어내는지에 대한 케이스 스터디를 진행하도록 하겠습니다. 감사합니다