전문가 : 안녕하세요, 류정식입니다. 현대의 뉴미디어 예술은 무엇이라 정의할 수 있을까요? 사실은 뉴미디어 아트를 정의하기에는 정말 어렵습니다. 아직까지 뉴미디어를 정의하는 것은 많은 혼란 속에 있는데요, 이러한 배경에는 현대 예술에서 뉴미디어가 지속적으로 침투하고 있기 때문입니다. 이것은 공연예술에서도 마찬가지인데요. 뉴미디어 아트의 경계는 어디까지 일까요?
우리가 초현실주의를 논할 때는 지금 보시는 그림과 같이 비합리적인 잠재의식과 꿈의 세계를 탐구하여 표현의 혁신을 꾀한 예술 운동이고. 인간의 무의식을 표현하는 작품이다.’라고 뉴미디어 보다 명확하게 정의 내릴 수도 있을 것 같습니다. 이와 달리 새로운 미디어 공연을 정의할 때는 아직도 과정 중인 예술운동이기 때문에 명확하지 않은 부분들이 있습니다. 흔히 뉴미디어를 생각하면 어떤 것이 떠오르시나요? 디지털아트, 컴퓨터 그래픽, 애니메이션, 가상현실, 인터넷, 인터랙티브, 비디오게임과 컴퓨터 공학 또 3D프린팅, 생명공학 기술 이러한 새로운 미디어 기술로 제작된 공연을 뉴미디어 기반으로 한 공연이라고 볼 수 있습니다.
뉴미디어의 특징은 기존의 예술양식과 비교하여 대화 혹은 상호작용에서 볼 수 있습니다. 이전의 공연 양식에서도 사실 상호작용이 있는데요. 전통적인 셰익스피어 공연에서도 대사를 통한 배우와 관객간의 소통이 있습니다. 중요한 것은 상호작용이 정해지지 않고 거대한 뉴미디어라는 우산 안에서 여러 가지로 시도되고 있다는 것입니다. 그렇다면 이제 뉴미디어 과거와 현재의 작업들을 살펴보실까요?
1. 로봇공학과 공연
2010년 4월 29일에 개최된 하노버 메세의 오프닝 행사에서는 ABB 로봇과 첼리스트의 협연이 있었습니다. 로봇은 타임라인에 의해 타악기를 연주하고 음악에 맞춰 몸을 흔드는 제스처도 보여주었습니다. 비록 짧은 공연이었지만 산업 로봇과 연주자가 협연할 수 있다는 가능성을 볼 수 있었습니다. 다만 타임라인에 정해진 로봇의 움직임에 따라 첼리스트가 연주한 것이었죠. 하지만 많은 사람들은 이것을 하나의 상호작용으로 보았습니다.
이 장면은 2016년 유로비전 송 콘테스트에서 로봇과 전문 댄서가 협연하는 모습입니다. 이때는 좀 더 다양한 기술을 적용하였는데요, 기계로 정확한 액시스를 구현할 수 있다는 장점을 통해 2미터에 달하는, 그리고 900kg이 넘는 3대의 로봇은 정확한 레이저 구성을 만들었습니다. 이러한 협연을 연출한 안무가 Benke는 로봇의 제스처를 더욱 풍부하게 구성하여 관객의 몰입을 유도했습니다. 비록 댄서들은 정해진 로봇의 구현 안에서 춤을 추었지만 비교적 가까운 거리에서 협연하였다는 것을 볼 수 있습니다. 이것은 사실 새로운 접근이었죠.
최근의 로봇과의 공연은 무대의 사람과 로봇의 협력이라는 면에서 많이 개선된 모습을 보이고 있습니다.
크게 두 가지가 있는데요. 첫 번째로는 로봇의 움직이는 모션 중에서 배우 혹은 댄서와 실제적으로 접촉을 한다는 부분입니다.
기존에 로봇과 협력한 작품들은 사실 물리적인 제한이 있었는데요. 로봇의 모션이 댄서 혹은 배우의 안전과 연결되기 때문에 물리적인 바리케이드가 되었습니다. 배우의 안전은 매우 중요한 부분인데요, 최근 로봇에 가까이 근접할 수 있게 되었습니다. 이것은 인공지능과 차세대 자동화 기능 덕분인데요. 이러한 기능덕분에 안전수준이 획기적으로 개선되고 있습니다.
예를 들어 ABB SafeMove2라는 소프트웨어는 댄서의 위치를 항상 알고 있어서 댄서의 움직임에 반응하여 모션을 스스로 수정할 수 있습니다. 두 번째는 로봇의 제어가 쉬워졌다는 것입니다. 기존에는 로봇에 모션을 구현하는데 많은 노력이 필요했습니다. 컴퓨터에 각 로봇의 축을 연결시켜야 했고요. 한 가지의 움직임에도 많은 노력이 필요하고 리허설의 동작의 수정이 필요하면 엔지니어를 불러야 했습니다. 최근에는 엔지니어링의 발전으로 수동적인 모션 변경으로도 간단하게 로봇의 모션을 수정할 수 있습니다. 이렇게 타블렛과 같은 휴대용 장비로 엔지니어의 교육을 받으면 무대 스태프가 직접 수정을 할 수 있습니다.
로봇공학의 발전에 따라 공연과의 접목 또한 단계적으로 발전했음을 알 수 있습니다. 기존에는 산업용 로봇을 그대로 사용해야 하는 부분이 있어 제한적인 무대장치의 한 부분으로서 참여하는 것뿐이었습니다. 이후 여러 시도를 통해 로봇도 공연에 참여 할 수 있는 가능성을 보았고 많은 뉴미디어 예술가들은 로봇을 중요한 스토리텔링의 수단으로 사용하기 시작하였습니다.
그러나 이때까지도 아직 피부를 맞대는 친밀감 있는 공연은 기대하기 어려웠습니다.
다만 상대 뮤지션이나 배우의 감정을 따라하거나 반응하는 제스처를 개발할 수 있는 정도였다고 할 수 있습니다. 그리고 산업의 발전과 함께 높은 수준의 제어 기술과 사람에 친화적인 인터페이스가 개발되었습니다. 이러한 기술을 바탕으로 친밀도가 강화된 작품들이 나오기 시작하고 있습니다.
2. 비디오 맵핑
지금 보시는 장면은 2015년 토니어워드 수상을 받은 ‘한밤중에 개에게 일어난 의문의 사건’이라는 작품입니다.
어머니를 잃고 아버지와 사는 자폐증을 겪고 있는 15살 소년 크리스토퍼의 세계관을 무대세트로 표현하기에는 굉장히 어려움이 많았을 텐데요. 연출가 마리안느 엘리엇은 이 소년의 심리를 큐브 공간의 프로젝션 이미지와 LED 모듈을 통해 관객에게 전달하고 있습니다.
이웃집의 개가 죽어 있는 것을 발견한 주인공은 개가 죽은 이유를 조사하면서 처음으로 낯선 곳으로 떠나는 모험을 감행하게 되는데요, 이를 통해 나타나는 소년의 심리들을 다양한 프로젝션 기법을 통해 벽면과 바닥의 무대에 연출하고 있습니다.
프로젝션을 통해 어떨 때는 숫자와 개의 이미지를 보여주기도 하고 지하철의 혼란한 상황들을 보여주기도 합니다. 그리고 소년의 낙서 또한 프로젝션의 이미지와 연결되기도 합니다.
LED 모듈의 회오리 이미지는 소년의 심리상태를 보여주기도 하는데요. 이렇게 다양한 소재의 프로젝션 맵핑을 통해 우리는 이야기를 들을 수 있습니다.
이 장면은 뉴미디어 그룹 Freckled Sky와 프로젝션 기술팀인 프론트 픽쳐스가 함께 작업한 프로젝션 맵핑 작업으로 아메리카 갓 탤런트 2016년에 소개된 공연입니다. 작품성이 뛰어나진 않지만 프로젝션의 새로운 가능성의 사례로 들어 봤습니다. 워터스크린과 프로젝션 맵핑을 통해 멋진 장면을 연출하고 이러한 장면을 댄서의 움직임과 연결하여 시적인 표현을 만들고자 했습니다. 댄서의 움직임이 프로젝션 이미지로 확대되어 나타나는 것을 보실 수 있습니다.
다음은 같은 팀 프론트 픽쳐스의 에스케이프입니다. 아메리카 갓 탤런트 2018년에 선보인 작품으로 연기자는 로봇팔과 연결되어 플라잉 연기로 보여 줄 수 없는 다양한 회전을 보이면서 프로젝션의 가상세계에 대한 몰입도 높은 광경을 보여줍니다. 비록 작품성 등에서는 단순한 이야기로 전달되는 것이지만 이런 몰입도 높은 장면은 무대의 연출요소로 활용될 경우 매우 강렬한 순간을 관중에게 전달할 수 있을 것입니다.
이번에는 로열셰익스피어극단의 연극 ‘템페스트’의 메이킹 장면을 보시겠습니다. 이 연극은 로열셰익스피어극단이 세계 최대 PC프로세스 회사인 인텔 등과 손을 잡고 만든 세계 첫 라이브 디지털 공연입니다. 주연배우가 얼굴과 몸에 17개의 동작센서를 달고 움직이면 인간의 관절 수와 거의 같은 수의 관절을 가진 가상 디지털 아바타가 유령처럼 따라서 움직이게 됩니다.
인텔이 개발한 증강현실 기술로 구현한 신화 속의 괴물은 무대 스크린에서 나와 관객들의 머리 위를 날아다니는 것 같은 강렬한 장면을 연출했습니다. 인텔에 따르면 전체 작업 과정은 고성능 컴퓨터에 의해 진행되며 주연배우의 아바타를 작동시킨 컴퓨터 메모리는 달 착륙 때의 5000만 배에 달한다고 합니다.
지금까지 비디오 맵핑에 따른 공연의 접목단계들을 살펴보았습니다. 첫 번째 사례에서는 프로젝션과 다양한 LED 발광체의 조합을 사용하여 오브젝트인 무대의 큐브에서 다양한 메시지를 사용한 것을 볼 수 있었습니다. 그리고 두 번째 사례에서 오브젝트인 댄서의 신체의 움직임과 물이 튕겨나가는 움직임을 프로젝션 맵핑과 연결하여 메시지를 효과적으로 전달하기 위한 노력들을 보셨습니다. 그리고 마지막으로 VR 실시간 이미지를 통해 배우의 표정과 움직임을 괴물 아바타에 투영하여 관객에게 새로운 경험을 전달한 것을 보셨습니다. 이처럼 프로젝션의 기술은 계속 진화하여 새로운 스토리텔링의 도구로서의 가능성을 보여주고 있습니다.
01. 이 강좌에 대해서
로봇 공학의 발전에 따라 로봇과 함께 하는 공연의 새로운 가능성을 모색하고, 비디오 맵핑을 이용한 공연 사례들을 알아본다.
02. 강사 소개
류정식 (Ghost LX 감독)
03. 강사 이력
- 대림대학교 겸임교수 - 북미 무대극장인증리깅기술사 - Infocomm CTS-D 기술인증 설계사 - 2019 문화비축기지 Tank 2 재설계 - 2018 평창올림픽 개폐막식 무대 설계
연계과정
공연을 위한 뉴미디어 사용 2 – 가상현실과 인공지능 - 뉴미디어 테크놀로지를 활용한 공연 제작