Android Spatial Audio 지원, 그러니까 그게… 뭐냐면요. (2023. 03. 15)   2022년 4월에 루머로 떠돌다가 2023년 1월 Google Pixel 업데이트를 통해 Android Spatial Audio 지원이 공식화되었습니다. 아직까지는 모든 안드로이드 스마트폰에서 경험해볼 수는 없고, 일부 Pixel 스마트폰과 Pixel Buds Pro를 연결해야 Android Spatial Audio를 체험할 수 있는 상황이지만 (2023-03-15 기준) 앞으로 점차 지원 대상이 늘어날 것으로 예상됩니다. Android Spatial Audio를 도입하려고 검토하시는 분들을 위해, 무엇이 변경되었고 어떤 부분을 추가적으로 고려해야할지 살펴보고자 합니다.     Figure 1. Google Pixel 스마트폰 및 Pixel Buds Pro 연결 시 지원되는 공간음향   조그만 이어버드 속 거대한 콘서트홀, 공간음향 Android Spatial Audio 소개에 앞서, 공간음향 기술에 대해 잠깐 소개하고자 합니다. 일반적으로 공간감 있는 소리를 듣기 위해서는 기본적으로 5.1 채널 이상의 스피커 환경을 구성해야 합니다. 게다가 이를 하나씩 배치할 전용 공간도 필요하고, 앰프도 구비해야 하는 등 여러 번거로운 일들이 많죠. 때문에 출퇴근길이나 야외에서 운동하면서 공간감 있는 소리를 듣기는 어렵습니다.   공간음향(Spatial Audio) 기술은 이러한 물리적 제약을 극복하고, 이어폰(헤드폰) 환경에서도 마치 7.1.4채널이 마련된 청음실을 옮겨놓은 것처럼, 마치 내가 실제 공간에 있는 듯한 몰입감있는(Immersive) 소리를 재현하는 기술입니다. Apple의 AirPods Pro에 적용된 Apple Spatial Audio를 시작으로 삼성 갤럭시 등 몇몇 플래그십 스마트폰에 적용된  공간음향을 경험할 수 있죠.     Figure 2. Apple Spatial Audio와 삼성 Galaxy의 360 Audio   Android Spatial Audio 지원으로 무엇이 변경되었는지 보려면, 현재까지 공간음향은 어떻게 구현되었는지 이해하는 것이 좋습니다. 현재 시중에서 볼 수 있는 공간음향은 스마트폰 위에서 구동되도록 스마트폰 제조사에서 직접 구현, 지원하는 이어버드 또는 헤드폰을 통해 소리를 냅니다. MP3와 같은 일반 스테레오 음원을 공간음향으로 재현하는 프로세싱 과정을 보통 렌더러(renderer)라고 부르는데, 스마트폰 업체들은 이를 자체 개발하거나 서드 파티 라이센싱 등을 통해 구현하고 있습니다. 다른 각도에서 보면, 제조사들마다 표준화된 방식의 공간음향을 사용하지 않고 파편화되어 있음을 알 수 있습니다. 더불어, 머리 움직임을 반영하여 마치 이 소리 공간에 들어와 있는 듯한 느낌을 주기 위해 헤드트래킹 구현이 필요합니다. 만약 실제 콘서트장에서 잠깐 머리를 오른쪽으로 돌렸는데, 눈 앞에 있던 가수의 목소리가 머리를 따라온다면 비현실적인 상황이 아닐 수 없습니다. 몰입감을 현저히 저해하여 내가 그 공간에 가 있는 듯한 경험을 이룰 수 없죠. 소리 공간에 머리 움직임에 대한 정보를 반영해주지 않는다면, 눈 앞에서 들리는 소리는 고개 움직임을 따라가며  계속 눈 앞에서 들리게 되며 이는 몰입감(Immersion)을 저해하게 됩니다. 한편, 헤드트래킹은 소리가 머리 밖에서 들리도록하는 ‘외재화’ 효과에도 중요한 역할을 합니다. 심리음향학(Psychoacoustics)적 해석에 따르면 사람은 원래 무의식적으로 움직이는 고개 움직임으로 두 개의 귀만을 가지고 소리의 전후좌우를 더 정확하게 구별할 수 있는데, 헤드트래킹을 활용한 공간음향 구현은 이를 가능하게 하여 소리가 머리 밖에서 들리는(마치 스피커에서 나는 것 같은) 경험이 극대화 됩니다.     Figure 3. 헤드트래킹이 없는 공간음향(왼쪽)과 적용된 공간음향(오른쪽)   헤드트래킹 기반의 공간음향을 지원하기 위해서는 머리 움직임을 인식할 수 있는 센서가 필요한데요, TWS 안에 내장된 IMU(Inertial Motion Unit) 센서가 그 주인공입니다.   IMU 센서는 자이로스코프(Gyroscope), 가속도계(Accelerometer), 자기계(Magnetometer)등이 내장되어 6축 또는 9축의 머리 움직임 정보를 인식해 블루투스 채널을 통해 스마트폰으로 전달되는 것이죠.   현재의 공간음향 동작 구조(아래 그림 참조)를 보면, 블루투스 통신 과정을 두 번이나 거쳐 처리되기 때문에, 실제 머리 움직임과 이를 반영한 소리가 재생되는 사이의 시간 지연이 발생할 수 밖에 없습니다. (이 지연을 Motion-to-Sound(M2S) Latency 라고 하는데, 이에 대해서는 다음 글에서 한 번 자세히 다루겠습니다.)   결국, 이 지연를 최소화하는 것이 자연스러운 공간음향 구현의 열쇠라고 할 수 있습니다. (안드로이드에서도 이러한 지연을 우려 150ms 이하로 구현할 것을 권고하고 있습니다)   Figure 4. 공간음향 동작 구조   Android Spatial Audio 그래서 무엇이 변경되었나면요 Android Spatial Audio 도입의 가장 큰 이유는, 제조사마다 각기 다른 공간음향 구현 방식을 표준화하는데 있습니다. 하지만 기본 구조를 표준화하되 공간음향 실현의 실체인 렌더러는 제조사가 직접 구현해야 합니다. 이렇게 스마트폰 제조사가 렌더러를 구현하면 ‘Spatializer’라는 블록에 넣어주면 됩니다. 이것이 Android Spatial Audio의 핵심입니다.   그렇다면 이 새로운 ‘Spatializer’ 추가로 인해 Android OS 구조가 바뀌었느냐? 그것은 아닙니다. 안드로이드에서 이뤄지는 모든 오디오 기능들은 AudioService[1], AudioPolicyService[2], AudioFlingerService[3]와 같은 서비스들이 협업하여 처리하는데요. 이러한 기존 오디오 프레임워크 안에서 공간음향 기능이 수행될 수 있도록 설계하여 개발 부담을 낮췄습니다.   전통적으로 제조사들의 오디오 정책들은 AudioPolicyService에서 추가하는 방식으로 커스텀화했었는데요. 공간음향 역시 AudioPolicyService 내의 Spatializer에 추가할 수 있도록 하여, 기존 구현 방식을 크게 해치지 않는 범위에서 설계되었습니다.   사용자 경험 관점에서 보면, 앱에서 공간음향을 제어하고 블루투스를 통해 이어버드로 전달되어 출력되는 방식일텐데요. 앱과의 인터페이스 역할은 AudioService 내의 Spatializer Helper가, 렌더링은  AudioFlingerService 내의 SpatializerThread가 처리하여 이 역시 기존 안드로이드 구조를 그대로 계승한 것임을 확인할 수 있습니다.   앱 개발자 입장에서는 공간음향을 어떻게 앱에 적용해야 할 지 많은 고민이 있을 수 있습니다. 안드로이드에서 많이 사용하고 있는 플레이어인 ExoPlayer 에서는 이러한 프레임워크 이해없이도 쉽게 공간음향을 구현할 수 있도록 지원하고 있습니다. ExoPlayer 2.1 8 이후 버전부터 자동으로 멀티채널 트랙을 선택하고 공간음향 제어가 가능하도록 제공하고 있습니다.   또한, 앞에서 언급한 헤드트래킹 구현을 위해서는 IMU 센서 정보를 활용해야 하는데요. 센서 정보를 받아 공간음향 렌더러를 업데이트할 수 있도록 Sensor Service 프레임워크 안에 Head Tracking HID sensor 클래스를 추가하고 Sensor Service와 오디오 서비스 간에 표준화된 통로를 제공하고 있습니다. 그리고 이러한 IMU 센서 정보는 반드시 HID(Human Interface Devices) 프로토콜을 따르도록 권고하고 있습니다.   HID 프로토콜이란 USB Implementers Forum에서 지정한 프로토콜로, 본래 키보드, 마우스 등의 주변 기기와 host 기기 간의 PS/2 및 USB 통신을 위해 정의되었습니다. 이후 블루투스 기기의 확산으로, 이에 맞는 HID profile이 지정되어 점점 더 프로토콜의 지원 범위가 확장되었는데요. 바로 이 프로토콜을 사용하여 스마트폰과 이어버드 기기는 IMU 센서 정보를 주고 받게 됩니다.     [1] 앱과 오디오 프레임워크간의 인터페이스 역할을 하는 서비스입니다. [2] 오디오 제어 요청(볼륨 조절 등)을 받아 처리하는 서비스이며, 여기에 제조사들의 오디오 시스템 정책을 추가할 수 있습니다. 이렇게 구현된 오디오 정책들을 현재 오디오 입출력 동작에 적용될 수 있도록 AudioFlingerService에 요청합니다. [3] 오디오 입출력을 제어하는 역할을 하고 있는 서비스입니다. 이를 위해서 여러 제조사들의, 각기 다른 드라이버를 가지고 있는 오디오 하드웨어들을 통합적으로 제어해야하는데, 이러한 하드웨어들의 인터페이스 역할을 해주는 HAL(Hardware Abstraction Layer)을 통해 제어하고 있습니다. 여기서 제어하는 오디오 입출력은 AudioPolicyService으로부터 받은 오디오 정책을 적용합니다.   Figure 5. Android Spatial Audio 추가에 따른 안드로이드 스택 변화   Source : Google Android Source (https://source.android.com/docs/core/audio/spatial )   Android Spatial Audio 도입, 아직 많은 노력들이 필요합니다 Android Spatial Audio로 쉽게 공간음향을 적용할 수 있는 판을 만들었기 때문에, 이제 안드로이드 디바이스 제조사는 공간음향을 어떻게 잘 구현할 수 있을까 고민하게 될 텐데요. 몇가지 지원 제약으로 인해 제조사에서 고민해야할 점들이 있어, 고려해야할 부분들을 설명드리려고 합니다. 제조사는 반드시 Spatializer, 즉 렌더러를 직접 구현해야합니다. 또한 헤드트래킹 지원으로 인해 발생할 수 있는 시간 지연도 함께 고려하여 설계해야 합니다. 그런데, 앞서 설명한 것처럼 Android Spatial Audio에서 권고하는 150 msec 이내의 시간 지연을 실현하는 것은 생각보다 난이도가 높습니다. 안드로이드 13을 지원하는 고성능 디바이스에서만 프로세싱 가능합니다. 즉, 이어버드 등 안드로이드가 지원되지 않는 기기에서는 구현할 수 없습니다. Android Spatial Audio 스택을 이용하지 않고, 이어버드에서 직접 렌더러를 구현하는 방식도 가능한데요, 이에 대해서는 다음 기회에 다시 소개드리도록 하겠습니다. 스마트폰 뿐만 아니라 태블릿, TV, 노트북 등등 여러 종류의 기기에서 균일한 공간음향 경험을 필요로 하는 제조사 입장에서는 부담이 엄청 커지게 됩니다. 스마트폰도 봐야하고 TV도 봐야하고… 이어버드 또는 헤드폰 제조사 입장에서 아무리 좋은 기기를 만들어도, 역시 연결하려는 스마트폰에서 공간음향을 이상하게 구현한다면 사용자들에게 의도하지 않는 사운드 경험을 전달하게 될 수 있습니다. 현재 5.1채널 음원에 한해서만 공간음향을 지원하고 있고, 스테레오 음원은 지원하고 있지 않습니다. 아직까지도 5.1채널 대비 스테레오 콘텐츠 비율이 압도적으로 높기 때문에, 본 기능이 있어도 사용자가 실제 활용할 기회가 상당히 낮습니다.   Android Spatial Audio 구현을 고려하고 있는 제조사라면 Gaudio Lab이 도와드릴 수 있습니다. 제조사가 직접 구현해야하는 고품질 렌더러(Spatializer)의 최적화된 라이브러리뿐 아니라 시간 지연을 최소화할 수 있는 각종 노하우가 적용된 솔루션으로 CES 2023에서 Spatial Audio 기술로 유일하게 혁신상을 수상하기도 했다죠. 더 자세한 GSA의 정보를 보고 싶으시다면 여기를! GSA 데모가 듣고 싶으시다면 여기를! 클릭해주세요 😊