전문가: 안녕하세요, 류정식입니다. 이번 시간에는 가상현실과 인공지능에 관련된 사례들을 통해 공연의 뉴미디어의 가능성을 알아보도록 하겠습니다. 지난 사례들을 통해 알 수 있었듯이 최근 공연에서는 로봇과 프로젝션이 함께 사용되기도 하고 어떨 때는 인공지능과 프로젝션 기술이 함께 사용되기도 합니다.
지금 현실에서 실행되고 있어, 뉴미디어의 경계를 정의하기가 매우 어렵습니다. 이러한 경계의 모호성에도 불구하고 이러한 변화들을 적용해보면서 각자의 영역들을 개척해 보셨으면 좋겠습니다. 이번 차시에서는 VR을 통한 공연제작 뉴미디어의 확장성을 보시도록 하겠습니다.
1. 가상현실과 공연
기존의 VR을 활용하려는 노력들은 기존의 공연장이나 공연물에서 사용되고 있었습니다.
라이온킹 혹은 뮤지컬 해밀턴 등 기존의 이름이 아주 잘 알려진 공연물들이 관객과의 친밀성을 위해 VR 서비스를 SNS 네트워크를 통해 전달되기 시작했습니다. 이러한 VR 트레일러들은 공연의 리허설이나 기존의 공연물의 새로운 각도를 다시 전달함으로써 사람들의 관심을 다시 불러모아 공연관람으로 사람들을 유인하는데 중요한 역할로 사용되고 있습니다.
뮤지컬 라이온킹의 VR서비스에 대한 의견을 한 번 같이 보시겠습니다. 다들 흥분을 감추지 못하고 있는데요. 관람한 댓글을 보면 너무 놀랍다 혹은 모든 브로드웨이 뮤지컬을 이렇게 만들었으면 좋겠다. 그리고 보면서 눈물을 흘렸고, 나 혼자만이 눈물을 흘리지 않아서 기쁘다 등의 아주 놀라운 반응들을 보실 수 있습니다.
이러한 VR로 보는 관점은 기존의 공연관람으로 보던 제한적인 관점을 깨면서도 기존의 비디오 카메라가 제공하지 못하는 비프레임성, 혹 내가 보고싶은 장면을 선별하여 볼 수 있는 가능성을 제공하고 있습니다. 기존에는 카메라의 제한으로 주어진 관점에서 관람을 하는 비선형적인 관람이었다면 VR을 통해서 보는 것은 내가 직접 전체를 볼 수 있는 선형적인 관점이 되고 있어 더 많은 가능성을 줄 수 있다고 할 수 있겠습니다.
이러한 가상현실과 무대를 연결하려는 노력들은 뮤지컬뿐만 아니라 클래식의 영역에서도 확장되고 있습니다.
기존의 공연을 360도로 녹화하여 VR 서비스를 하는 사례로 6명 이상의 그룹을 기준으로 한 서비스 등이 등장하고 있습니다.
헤드폰의 음질을 듣는 대신에 360도 공간에 18개의 스피커를 배치하여 현장의 사운드를 들을 수 있으면서 VR을 통해 주변을 돌아볼 수 있는 서비스 등이 등장하고 있습니다.
영국의 국립극장에서 올려졌던 어글리 라이즈 더 본의 트레일러 입니다. 이 공연은 부상을 당한 참전용사에 관련된 이야기를 소재로 하고 있습니다. 그리고 Es Devlin 같은 유명한 세트 디자이너가 함께 참여한 작품이기도 합니다. 언론과 공연 평론가들에게도 좋은 평론을 받았던 작품인데요. 무대 디자인 또한 도시의 배경을 입체적으로 그려 냈습니다.
주인공 또한 여성 참전용사로서 심각한 부상을 통한 외모의 변화와 내면의 갈등이 연극에서 보여 지고 있어 입체적인 세트를 활용하여 최근에 VR 서비스를 제공할 계획에 있다고 합니다.
바로 전쟁에 참전했던 군인들의 정신적 외상을 치료하자는 취지에서 시작된 서비스인데요. 이러한 VR의 역할은 단순한 감상에 머무르지 않고 외상을 가진 군인들의 심리에 몰입감을 더하여 치료의 역할을 하는 것을 볼 수 있습니다.
이러한 접근은 무대에서 관객의 마음을 움직이게 할 수 있는 가능성이 아닐까 생각을 합니다. 피터브룩이 언급했던 신성한 연극으로서 접근할 수 있는 뉴미디어의 좋은 가능성이 되지 않을까 개인적으로 기대하고 있습니다.
지금까지 VR을 활용한 세 가지의 경우를 보셨습니다. VR은 지난 10년 동안 점진적으로 공연에서 사용되고 있습니다. 기존의 콘텐츠와 관객의 관계를 강화하려는 마케팅의 노력에서 VR을 통한 전체 공연의 관람이 서비스 되고 있는 것인데요. 연극에서 음악까지 공연의 특색에 따라 관람의 경험은 가공되어 전달되고 있습니다.
이제는 앞의 사례를 볼 때 향후 무대디자이너들이 VR을 적용할 수 있는 무대세트들에 대한 탐구들이 더 많아지지 않을까 예상합니다. 이러한 새로운 접근은 기존의 관객 이외에도 비관객들의 참여 또한 유도 할 수 있기 때문에 기존의 비관객들을 무대로 초청할 수 있는 가능성이 있다고 할 수 있습니다. 과거의 사진의 등장으로 회화에서는 기존의 회화의 설 자리가 없을 수 있다고 경계할 수 있겠으나 초현실주의 혹은 인상파 화풍 같은 새로운 접근이 등장하게 되는 한가지 중요한 계기가 되었다고 할 수 있는데요. 어쩌면 VR 또한 기존의 관람의 형식을 파괴하는 공연산업에 방해 요소보다는 공연제작의 환경을 변화시켜 우리의 새로운 관객을 만날 수 있게 하는 촉매제가 될 수 있을 것 같다는 생각이 듭니다.
2. 인공지능과 공연
이번에는 AI에 대해서 알아보겠습니다. 딥 러닝, 머신 러닝, 인공지능의 관계는 큰 인형 안에 작은 인형이 차곡차곡 쌓여있는 형태의 러시아 인형을 연상해보면 쉽게 이해를 하실 수 있습니다. 딥 러닝은 머신 러닝의 부분 집합이고, 머신러닝은 스마트한 일을 하는 모든 컴퓨터 프로그램을 포괄하는 용어인 인공지능의 부분 집합입니다. 인공지능의 권위자 John McCarthy는 인공지능을 “지능형 기계를 만드는 과학 및 공학”으로 정의하기도 하였습니다.
그렇다면 우리 예술분야에서 AI와 가장 연계성이 있는 분야는 어디일까요? 저는 시각 및 청각의 인식을 통한 간단한 의사결정에서 시작될 수 있다고 생각합니다. 이러한 방향에서 접근하고 있는 공연을 하나 예로 들어보겠습니다. 이런 사례로 제가 한국에서 담당했던 프로젝트 중에 하나로 예를 들어보려고 합니다. 뉴욕의 겐조디지털 디자인을 한국의 강릉 전시관에 시연했던 프로젝트인데요. 삼성의 제품들을 사용해서 공간에서 무한의 이미지를 만들었던 프로젝트 사례입니다.
이 프로젝트는 체험자가 밖에서 인스타그램으로 로그인 할 수 있도록 했습니다. 로그인이 되면 AI 가 분석하여 인스타그램에 사진을 재배열하고 과거, 현재 사진과 해시태그를 재분류합니다. 그리고 여기에 인공적인 사운드를 덧입히게 되는데요.
이번 프로젝트의 사례를 통해 앞서서 말씀드린 시각이나 청각의 인식을 통한 AI의 결정이나 해석들을 볼 수 있습니다. 이러한 방법들이 최근 공연에서도 활용되고 있습니다.
2017년 샌프란시스코에서 미국 예술가 트레버 파글렌은 Sight Machine 이라는 작품을 통해 클래식 앙상블인 크로노스 사중주와 AI 콘서트를 가졌습니다. 앞서서 언급한 것 보다 조금 더 많은 알고리즘으로 시각적 데이터를 분석하여 실시간으로 관중에게 보이도록 하였는데요. 각 연주자의 성별을 통해 연주자의 감정을 영상으로 표현하고 사람들은 인공지능이 해석을 통해 웃기도 하며 때로는 진지하게 관람하기도 했습니다. 간단한 리사이틀이었지만 인공지능의 시각적인 해석은 중요한 탐구였다고 볼 수 있을 것 같습니다.
지금까지 공연예술과 AI가 융합된 사례들을 살펴보았습니다. AI와 공연, 예술의 접목은 다른 뉴미디어보다 늦게 시작했습니다. 다른 분야에 비해 사례도 5년 이내의 최신의 사례들이 많아 여러분들의 연구가 더 필요할 것 같습니다.
개인적으로 저도 AI를 통한 무대디자인을 상상하고 있는데요. 앞으로 활용할 수 있는 가능성들이 많을 것 같습니다. 한국의 젊은 AI 엔지니어들과 이러한 협업들을 모색하고 있습니다.
이번 시간에는 VR과 AI가 무대제작에서 어떻게 활용되었는지를 최근의 사례들을 통해 살펴보았습니다. 이러한 프로젝트들은 우리 예술가가 혼자 할 수 있는 프로젝트가 아닐 수도 있습니다. 그렇기 때문에 협력이 정말로 필요한 부분입니다. 그리고 이러한 협력은 단번에 할 수 있는 것도 아니지요. 기술적인 부분을 두려워하지 마시고 엔지니어들과 만날 수 있는 예술 융복합 사업 혹은 연간 발생하는 많은 세미나에서 만나 인사하시면서 교류하시는 것들이 이러한 협력의 좋은 시작점이 될 수 있습니다.
01. 이 강좌에 대해서
공연을 통해 시도된 다양한 뉴미디어 사례를 확인하고, VR, AI 등 현대사회 공연에서의 뉴미디어 적용 현황을 살펴본다.
02. 강사 소개
류정식 (Ghost LX 감독)
03. 강사 이력
- 대림대학교 겸임교수 - 북미 무대극장인증리깅기술사 - Infocomm CTS-D 기술인증 설계사 - 2019 문화비축기지 Tank 2 재설계 - 2018 평창올림픽 개폐막식 무대 설계
연계과정
공연을 위한 뉴미디어 사용 1 - 로봇공학과 비디오 맵핑 - 뉴미디어 테크놀로지를 활용한 공연 제작