안녕하세요? 저는 Fraunhofer IIS의 MPEG-H Audio 컨설턴트 김동한입니다.
이번에는 MPEG-H Audio에서 제공하는 3D 오디오에 관한 설명을 좀 드릴 거고요. 3D 오디오를 만들어내는 제작방식과 마이크의 사용법 그리고 그 마이크를 사용해서 어떻게 MPEG-H Audio를 만들었는지 한번 보도록 하겠습니다.
일단 MPEG-H Audio는 차세대 오디오라고 불리는데요. 일단 방금 말씀드렸던 3D 오디오 immersive 사운드를 구현을 할 수 있는 오디오 시스템이고요. 그리고 interactivity라고 해서 이제 3D 오디오 안에서 오브젝트 객체 오디오를 활용해서 각 객체 오디오가 볼륨을 올렸다 낮췄다 할 수 있는 여러 가지 기능들도 제공을 하고 있고요. 그리고 이 MPEG-H Audio로 만든 하나의 믹스를 가지고 Universal Delivery라고 해서 홈시어터나 가정에 있는 TV나 스마트폰, VR까지 이제 지원을 하고 있기 때문에 하나의 MPEG-H Audio 믹스를 가지고 여러 가지 디바이스해서 즐기실 수 있는 시스템입니다. 이런 거를 가지고 이제 MPEG-H를 차세대 오디오라고 부르는 거고요.
그림에 보시는 대로 가정에서는 홈시어터랑 이런 것들을 갖춰놓고 5.1.4나 7.1.4나 여러 가지 들으시는 분도 있으실 텐데 3D SoundBar라는 거에 기존의 SoundBar와는 다르게 virtual 서라운드가 아니라 reflection을 이용해서 실제 3D 오디오를 가정에서 쉽게 구현할 수 있는 이런 SoundBar가 3D 오디오를 가정에서도 쉽게 들을 수 있게끔 이제 차후 발매가 될 예정이고요. 여러 가지 업체들에서도 이제 지금 개발단계에 있는 상태입니다. 그래서 이제 MPEG-H Audio를 3D 오디오로 제작을 하셨을 때 이런 여러 가지 방법들로 이제 들으실 수 있는 방법들이 있다는 얘기고요.
그다음 기술적인 얘기로 조금 더 들어가 보면 MPEG-H Audio는 오디오 채널과 스태틱 오브젝트와 다이나믹 오브젝트 이렇게 나눌 수가 있는데요. 스태틱 오브젝트는 제가 아까 말씀드렸던 볼륨을 올리거나 낮출 수 있는 그런 대사나 이제 여러 가지 언어 한국어, 영어, 일본어 이런 식으로 이제 DVD나 이런 데서 제공했던 언어변환 이런 것들을 TV에서 가능하게끔 하는 거고요. 그리고 다이나믹 오브젝트 같은 경우는 영화 같은 데서 서라운드에서 나오는 이펙트들이 3D 공간 안에서 움직일 수 있게끔 하는 것들을 이제 다이나믹 오브젝트라고 합니다. 그리고 이제 오디오 채널은 기존에 있던 배드 기존에 있던 저희가 5.1이나 스테레오도 다 오디오 채널이라고 볼 수 있는데요. 거기서 이제 오브젝트가 빠진 것들을 얘기하는 겁니다.
그리고 이제 MPEG-H Audio에서는 또한 Ambisonics이라는 새로운, 새롭진 않지만 Ambisonics이라는 오디오를 지원을 하고 있는데요. Ambisonics이라는 거는 이제 기존에 마이크에는 마이크 하나당 한 채널의 오디오를 수용을 했었는데 이 Ambisonics 자체는 한 마이크 안에서 기본 First-Order Ambisonics 같은 경우에는 4개의 캡슐을 사용해서 그 4개가 이제 그 한 씬 오디오 씬을 만들어서요. 만약에 저희가 여기서 녹음을 한다하고 싶으면 그 4개의 캡슐로 이 공간을 캡쳐를 한 다음에 만약에 저희가 제작하는 환경이 7.1.4다 하면 그 7.1.4 안에 맞게 이제 공간을 다시 사운드를 엠비어스를 만들어주는 그런 거라고 보시면 됩니다. 그래서 이제 First-Order Ambisonics 같은 경우는 그 마이크 하나에 캡슐이 4개가 있지만 이제 Second-Order, Third-Order, Fourth-Order로 갈수록 이제 캡슐이 많아지면서 조금 더 디테일한 사운드나 이제 localization들이 가능하게 되는 거고요. 그런 기술들을 이제 Ambisonics이라고 하는데 그런 Ambisonics 마이크를 Sixth-Ordrer 이상으로 이제 저희가 MPEG-H Audio에서 지원을 하고 있고요.
그리고 MPEG-H Audio에서는 메타데이터를 사용을 하고 있는데요. 이 메타데이터라는 건 기존에 방금 전에 설명 드렸던 채널 베이스와 오브젝트 그리고 이제 Ambisonics 같은 모든 오디오 시그널에 대한 데이터를 저장하는 프리셋이라고 보시면 되고요. 이 메타데이터를 사용해서 각 시그널이 이제 이게 베드다, 오브젝트다, 라고 이제 구분을 해주는 거예요. 그래서 차세대 오디오에서는 이런 메타데이터를 활용을 해서 이제 다양한 한 믹스에서 다양한 씬을 구현을 할 수 있게끔 해주는 거고요. 그리고 이제 MPEG-H Audio는 또 Advanced DRC라고 Dynamic Range Control이라는 것이 있는데요. 이거는 기존의 AVR 리시버에서 이제 나이트 모드 같은 기능인데 저희가 만약에 MPEG-H Audio가 TV에서 구현을 하고 있다면 TV에 맞는 다이나믹 레인지를 플레이하게 돼있지만 이게 만약에 모바일 폰에서 들었을 때는 조금 더 시끄러운 환경에서 들을 수 있기 때문에 다이나믹 레인지를 이제 모바일에 맞게 조절해줄 수 있는 이런 기능들이 포함이 돼있습니다. 그래서 화면에서 보시는 거와 같이 MPEG-H Audio는 16개 오디오 시그널을 수용을 하고 있고요. 그 16개 오디오 중에 한 채널은 메타데이터로 16번 채널에 사용이 되고 있고 그리고 이제 채널과 오브젝트, HOA까지 지원을 하고 있고요. 그리고 이제 메타데이터를 사용을 해서 여러 가지 프리셋을 만들 수 있는데 8개까지 프리셋은 현재 MPEG-H LC Profile Level 3에서는 8개 프리셋까지 만들 수 있게끔 지원을 하고 있습니다.
그러면 이제 3D 오디오가 무엇인지 한번 보게 되면요. 3D 오디오는 일단은 1D 오디오라는 것은 기존에 저희가 스테레오로 들었던 오디오를 이제 1D 오디오라고 부릅니다. 기존에 2개의 스피커에서 One Dimension이지요. Left, Right로 밖에 왔다 갔다 할 수 있는 거기에서 아시는 이제 5.1이나 7.1 같은 것은 Two Dimension 앞과 뒤가 있어서요. 양쪽으로 가고 그 안에서 공간을 할 수 있는 이런 것을 2D 오디오라고 하고요. 그 2D 오디오에서 위에 한 번 더 레이어가 깔리는 것을 3D 오디오라고 합니다. 3D 오디오는 기존에 2D 오디오에서 레이어가 하나가 더 생겨서 이제 공간이 하나가 생기는 거지요. 그 공간 안에서 이제 소리가 나올 수 있는 것들을 3D 오디오라고 하고 있습니다. 이 3D 오디오는 다른 말로 또 Spatial Audio, Immersive Audio 이런 식으로도 불리기도 하고요. 확실히 2D 오디오보다는 조금 더 localization과 공간감 이런 것들이 상당히 더 구현이 잘 되고 있고요. 그리고 이제 오브젝트들을 활용해서 그 3D 공간 안에서 여러 가지 효과나 이펙트들이나 콘텐츠에 맞는 그런 다양한 사운드 디자인을 구현을 할 수 있는 장점이 있습니다.
MPEG-H Audio에서 이런 오브젝트들은 TV단 그러니까 시청자가 보는 TV단에서 이제 이 오브젝트들이 렌더가 되게 되는데요. 기존에서는 그냥 스테레오 베드에서는 스테레오 방송에서는 이제 스테레오 채널 마스터 채널 안에서 대사와 모든 소리가 다 들어있어서 나중에 시청자가 컨트롤할 수 있는 그런 기능들이 없었잖아요. 그런데 MPEG-H Audio 같은 경우는 이 여러 가지 베드와 오브젝트나 HOA 같은 것들이 레이어로 들어가서 바로 한 스트림으로 시청자에게 가기 때문에 그 스트림 한 스트림을 가지고 TV단에서 렌더가 돼서 그 한 레이어 레이어별로 이제 시청자가 조절할 수 있는 여러 가지 기능들을 제공하고 있습니다.
아까 말씀드렸듯이 그런 오브젝트는 이제 랭기지처럼 스위치 될 수 있는 기능들도 있고요. 껐다, 켰다 할 수 있는 기능도 있고 레벨을 올렸다 낮췄다하는 여러 가지 기능들이 있습니다. 왜 3D 오디오를 듣는지에 대해서 좀 설명을 해보면 일반 뉴스 같은 경우에는 3D 오디오가 아무 의미가 없습니다. 그래서 뉴스 프로그램 같은 경우는 기존에 저희가 알고 있는 2D 오디오나 1D 오디오 그냥 스테레오 방송에 여러 가지 interactivity를 따로 사용을 해줄 수 있는데요. 그러다가 뉴스를 보다가 갑자기 시위현장에 가보겠습니다 하면 그때 다시 3D 공간감으로 들어가서 Ambisonics 마이크 같은 것들을 사용해서 시위현장에 들어갔다가 다시 데스크로 왔을 때는 또 1D 오디오 이런 식으로 이제 여러 가지 변형이 가능합니다. 이제 이런 것들을 활용을 해서 Spatial 오디오, 3D 오디오도 이런 콘텐츠에 맞는 여러 가지 방법들로 사용하실 수 있습니다.
3D Audio Capturing 마이크에 대해서 조금 더 설명을 해보겠습니다. 3D 오디오는 이제 여러 가지 방식으로 제작이 될 수 있는데요. 기존에 2D 콘텐츠 그러니까 기존의 스테레오나 5.1 이런 소스를 가지고 업믹싱을 해서 이제 3D 공간을 만들 수 있고요. 아니면 3D 마이크나 여러 가지 이런 추가적인 소스들을 사용해서 3D 오디오를 만들 수도 있고요. 그리고 이제 마이크로 수음하지 않고도 그냥 기존의 여러 가지 소스를 섞어 가지고 3D 공간을 만들 수 있습니다. 이제 여러 가지 방법들이 있고요. 이렇게 3D 오디오로 만들어진 콘텐츠들은 여러 가지 오브젝트를 활용을 해서 공간 안에서 영화에 있는 모든 그 플라잉 오브젝트나 이런 것들을 더 활용을 해서 사용을 하실 수 있고요. 기존에 있는 5.1 콘텐츠에서도 reverb나 web signal upper layer에 사용하는 upper layer 쪽으로 넣어줘서 조금 더 공간감을 주거나 이런 식으로 해서 조금 더 인위적인 3D 오디오 콘텐츠도 만들 수 있고요. 그런 식으로 이제 사용을 하실 수 있습니다.
지금 여기 사진을 보시면 스포츠경기의 모습인데요. 기존의 저희가 2D 오디오 그냥 스테레오 방송을 할 때도 이런 식으로 여러 가지 마이크를 설치를 하게 되는데요. 이 설치한 마이크들을 사용을 기존에 있는 마이크를 사용을 해서 3D 오디오로 충분히 제작하실 수 있습니다. 이제 여기 보시면 농구골대 뒤에 있는 이런 마이크들과 이제 저 전광판 위에 있는 마이크들을 이제 패닝만으로도 위, 아래, 미들 레이어와 하이트 레이어로 나눠서 사용할 수 있고요. 지금 농구공을 따라가고 있는 스팟 마이크 같은 것들을 오브젝트로 활용을 해서 3D 오디오로 좀 제작을 할 수 있고요. 여기 보시는 핸드볼경기 같은 경우에도 이런 스팟 마이크들을 사용해서 오브젝트로 사용을 하고요. 이 사진에서 보시면 이런 마이크 트리를 사용을 해서 미들 레이어와 하이트 레이어 이제 이런 식으로 마이크들을 나눠서 3D 공간감을 만들고 아까 전에 있던 스팟 마이크를 사용해서 오브젝트로 사용할 수 있습니다. 이런 식으로 기존에 있던 모든 마이크들을 사용해서 충분히 3D 오디오로 만드실 수 있고요.
지금 사진에서 보시는 것처럼 2014년 동계올림픽에서도 이런 마이크 트리들을 사용을 해서 미들 레이어와 하이트 레이어 공간을 4개, 4개 마이크를 사용해서 이제 미들 레이어와 하이트 레이어를 해서 3D 공간을 만든 모습이고요. 그리고 이제 여기는 자동차 레이싱 경기의 모습인데요. 이것도 미들 레이어와 하이트 레이어 두 가지의 레이어를 마이크들을 사용을 해서 3D 공간을 만드는 모습을 보실 수 있습니다. 이게 이 마이크 트리의 뒷모습인데요. 이런 식으로 이제 서라운드 마이크들은 조금 더 관객 쪽으로 좀 더 가져와서 조금 더 뒤쪽 서라운드에서는 관객의 함성소리가 더 잘 들리게끔 이런 식으로 이제 변형도 가능하고요. 그리고 이제 더 먼 곳에 스팟 마이크들을 몇 개 더 설치해서 이런 것들을 조금 더 하이트 채널이나 서라운드 채널에 조금 넣거나 아니면 오브젝트를 사용을 해서 조금 더 특별한 3D 오디오로 만들 수도 있겠지요. 그래서 이 정도 마이크를 가지고 이제 3D 오디오로 충분히 만들 수 있다는 모습이고요.
지금 보시는 사진은 이제 클래식 레코딩의 모습인데요. 기존의 클래식 레코딩에서는 이제 5.1이나 이제 SACD 등을 이용을 해서 많은 서라운드 레코딩들이 계속 이어지고 있었는데요. 가까운 사진을 보시면 기존의 여러 가지 데카 트리 등 여러 가지 서라운드 트리들을 사용을 해서 3D 오디오를 제작을 하는 모습을 보실 수 있습니다. 하이트 마이크들을 추가를 해서 레코딩하는 모습이고요. 지금 보시는 사진도 역시 조금 다른 미들 레이어와 하이트 레이어를 사용한 트리를 이용해서 3D 오디오를 녹음하는 모습이고요.
이 Lover, Berlin이라는 공연 자체에서도 여러 가지 스팟 마이크들이 있지만 상단에 이제 미들 레이어와 하이트 레이어가 따로 있는 이런 트리들을 사용해서 이제 녹음을 해서 3D 오디오로 제작을 한 과정을 보실 수가 있습니다. 가까운 모습이고요. 그리고 이제 이런 큰 트리보다는 조금 더 조금 더 compact해진 이런 마이크들도 이제 3D 오디오 제작들이 많아지기 시작하면서 많은 회사들에서 나오고 있고요. 이거보다 조금 더 작게 이런 얇은 마이크 트리들도 이제 나와서 3D 오디오를 제작하는데 큰 어려움이 없어지고 있습니다.
지금 보시는 사진은 아까 제가 설명 드렸던 Ambisonics이라는 마이크고요. 이제 맨 왼쪽에 있는 사진이 First-Order 가운데 있는 것들이 이제 Third-Order 정도 되는 마이크입니다. 캡슐이 많아질수록 조금 더 아까 설명 드렸지만 localization이나 이런 것들이 선명해지고요. 이런 식으로 이제 마이크 하나로도 3D 오디오를 쉽게 제작하실 수 있다는 것을 알 수 있습니다. 지금 보시는 사진은 익스트림 스포츠의 모습인데요. 기존의 사진과 같이 샷건 마이크나 컨택 마이크 이런 것들을 사용을 해서 스테레오 방송을 제작을 했었는데 기존 이런 마이크 세팅을 그대로 이제 패닝을 어떻게 두냐 공간을 어떻게 사용하느냐에 따라서 3D 오디오를 충분히 제작하실 수 있습니다. 네, 지금까지 MPEG-H Audio에서 지원하는 3D 오디오를 어떻게 제작하는지에 대한 마이크들과 여러 가지 사진들을 보면서 확인해봤습니다. 감사합니다.
01. 이 강좌에 대해서
MPEG-H Audio에서 제공하는 3D 오디오에 대해 알아보고, 3D 오디오를 만들어내는 제작방식과 마이크의 사용법, 그리고 그 마이크를 사용해서 MPEG-H Audio를 만드는 방법을 습득한다.
02. 강사 소개
김동한 (D2SPACE 대표)
03. 강사 이력
- Fraunhofer IIS - MPEG-H Audio Consultant - IMS 스튜디오 – 사운드 디자이너 - 라이브톤 – 사운드 디자이너 - 스튜디오K - 사운드 디자이너