Spatial Audio의 성능 평가 Part 1: 평가 설계

(Writer: James Seo)

 

오랜만에 돌아온 GSA* 연구/개발 담당 James 입니다. 지난 글에서는 GSA가 사용자의 움직임에 얼마나 민첩하게 반응하는지를 나타내는 M2S (Motion-to-Sound) Latency 를 어떻게 측정할 수 있는지에 대해서 설명드렸습니다. 이번 글에서는 ‘그래서 실제 우리가 듣는 그 소리는 진짜 좋아?’에 대한 답을 찾아보려고 합니다. GSA는 TWS나 HMD와 같은 Wearable 기기를 타겟으로 한 제품인 만큼 그 소리가 좋지 않으면 움직임에 아무리 빨리 반응한다고 해도 좋은 제품이라고 할 수 없기 때문이죠. Sound Matters!

*GSA: Gaudio Spatial Audio

Methods of Audio Quality Evaluation

 

GSA의 성능 평가에 대해 설명하기 전에 우선은 음질 평가 방법에 대해 간단히 알아보겠습니다.

 

어떤 음향 기기 또는 음향 시스템의 성능을 평가하는 방법에는 여러가지가 있습니다. 그 중 하나가 재생하는 소리로부터 추출한 파라미터 값을 기반으로 성능을 평가하는 방법입니다. 지난 번의 M2S latency 측정이 그 대표적인 예가 되겠네요. 그 외에 오디오 / 음성 코덱의 성능을 평가할 때 자주 사용되는 PEAQ (Perceptual Evaluation of Audio Quality) / PESQ (Perceptual Evaluation of Speech Quality) 와 같이 표준으로 공인된 방법도 있습니다.

 

보통 이 방법들에서는 개별 소리를 분석하여 인지적 품질에 영향을 미치는 요소인 MOVs (Model Output Variables)를 계산하고, 이 값들의 가중합을 이용하여 최종 품질 점수를 도출합니다. 이러한 평가 방법을 객관 평가 기법(Objective Quality Evaluation)이라고 합니다. 이러한 객관 평가 기법은 기본적으로 음향 신호를 소프트웨어나 기기에 입력 신호로 주고, 최종적으로 품질 점수를 계산하는 방식이기 때문에 소요 시간이 비교적 짧아 효율적이라는 장점이 있습니다.

 

다만, 표준으로 제정되어 있는 객관 평가 기법들은 기준 신호(Reference Signal)가 있고, 평가하고자 하는 신호(Signal Under Test, SUT)가 기준 신호와 비교하였을 때 얼마나 그 품질이 떨어졌는지를 평가하는 방식이기 때문에 기준 신호가 없으면 평가 자체가 불가능하다는 단점을 가지고 있습니다. 이러한 표준 기법들이 코덱의 성능을 평가하고자 만들어진 기법이기 때문에 갖고 있는 한계이기도 합니다.

 

또 다른 평가 방법으로는 주관 평가 기법(Subjective Quality Evaluation)이 있습니다. 평가자가 평가 대상 음원을 비교하여 듣고 평가자의 기준으로 음원의 품질을 평가하는 방법입니다. 대표적인 평가 방법으로는 MUSHRA( Multiple Stimuli with Hidden Reference and Anchor)가 있습니다. 다만, 평가자마다 기준이 다를 수 있기 때문에, 신뢰도 있는 결과를 얻기 위해서는 평가자의 모수가 커야 한다는 단점이 있습니다. 평가자도 많아야 하지만 평가자가 직접 듣고 평가하는 방법이기 때문에 시간과 비용이 많이 든다는 것도 단점입니다. 마지막으로 그 명칭(Hidden Reference and Anchor)에서도 알 수 있듯이, 기준 신호가 있을 때에만 사용할 수 있다는 한계도 동일하게 갖고 있습니다.

 

이제 우리는 어떤 방법으로 GSA를 평가할지 선택해야 합니다. 우선 공간 음향이 적용된 오디오 신호에는 마땅한 기준 신호가 존재하지 않기 때문에 PEAQ와 같은 객관 평가 기법은 사용할 수 없습니다. 동일한 이유로 주관 평가 기법 중 하나인 MUSHRA도 사용할 수 없습니다. 또한 GSA의 출력 신호만을 가지고 주관 평가를 진행하는 것이 평가자들에게는 굉장히 어려운 일이기도 하고, 신뢰성 있는 결과를 얻기도 힘들다는 한계도 있습니다.

이러한 고민 끝에 선택한 방법이 시중에 있는 솔루션 중, 많이 사용되어 익숙하고 그 품질도 우수하다고 널리 알려진 솔루션과 비교하는 방법입니다. 후보가 되었던 공간 음향 솔루션이 몇 가지 있긴 하지만, 비교 대상 시스템이 늘어날 수록 비교해야 하는 신호가 늘어나고, 이러한 부담이 평가자들에게 큰 부담이 되어 평가 결과의 신뢰도를 낮출 수 있기 때문에 비교 대상 시스템을 Apple의 Spatial Audio(이후, 표현의 편의를 위해 ASA로 표기하겠습니다) 하나로 한정하여 1:1 비교하는 방법을 선택하였습니다. 

 

새로운 주관 평가 설계(Design of Subjective Quality Evaluation)

 

(1) Paired Comparison (쌍비교)를 통한 Preference Test

 

기본적인 비교 방법은 Paired Comparison(쌍비교) 를 통한 Preference Test(선호도 테스트)입니다. 두 개의 신호를 랜덤한 순서로 들려주고, 어느 쪽을 선호하는지 조사하는 방법인데요, ‘선호’로 선택된 시스템에는 +1점, 선택되지 않은 시스템에는 0점을 부여하는 식으로 점수를 카운트 합니다. 엄마가 좋아? 아빠가 좋아? 와 같은 질문이라고 보시면 되겠습니다. 본 평가는 이중 맹검 강제 선택(Double-Blind Forced Choice) 방법을 사용하므로, 평가자는 지금 내가 듣고 있는 소리가 ASA로 렌더링 된 소리인지, GSA로 렌더링 된 소리인지는 알 수 없습니다. 평가자는 그저 신호를 듣고 랜덤하게 재생되는 A,B 두 개 중 더 선호하는 쪽 하나를 고르는 것이므로 평가자의 의도된 편향은 없다고 봐도 될 것입니다.

 

(2) Selection of Sound Excerpts

 

다음으로는 평가 음원을 골라야 합니다. 솔루션에 따라서는 음원의 특성 및 포맷(채널 수)에 따라 그 성능의 편차를 보이는 경우도 있기 때문에 어떤 음원으로 평가하느냐에 따라 그 결과가 달라질 수 있습니다. 우선 2채널 스테레오 음원과 5.1 채널 멀티 채널 음원을 구분하여 선정했습니다. 일반 사용자들이 보통의 환경에서 가장 많이 접할 수 있는 음원은 2채널 스테레오 음원이나, 영화나 일부 음악 소스의 경우 공간감을 더 잘 느낄 수 있도록 5.1채널 음원으로 믹싱되기도 하기 때문에 5.1 채널 음원까지 포함시키기로 하였습니다.

 

스테레오 음원의 경우 음악에서는 여러 장르별로 한 곡씩을 선택하였고, 여기에 스테레오 버전의 영화 클립 일부를 추가하여 총 7개의 음원을 선정했습니다. 멀티 채널 음원 역시 영화, 음악, 박수 소리 등 여러 특성을 가지고 있는 7개의 음원들을 선정했습니다. 선정된 음원은 주관 평가 시 가장 적절한 길이인 10~15초 사이로 잘라서 사용하였습니다.

 

(3) 평가 대상 신호의 생성 Generation of Signals Under Test

 

이번 평가의 목적이 사용자의 움직임에 맞게 변하는 Spatial Audio의 품질을 측정하는 것이기 때문에, 실제 사용자의 움직임을 반영하여 각 평가 대상 음원을 렌더링 하는 것이 이상적일 것입니다. 하지만 ASA의 폐쇄성 때문에  이상적인 실험 환경을 구축하는데 한계가 있었습니다. ASA는 Apple 제품군 내에서만 동작하기 때문에, 다른 Spatial Audio 렌더러를 Airpods Pro 나 iPhone에 구현하고, 이를 평가 대상자들이 모르게 재생하는 것이 불가능한 구조입니다. 이러한 이유로 고정된 Head-orientation에 대해 렌더링된 신호를 별도로 생성해서 비교할 수 밖에 없었는데요, 이 때 선정된 Head-orientation은 사용자가 가장 많이 경험하게 될 정면을 선정하였습니다.

 

여기서 또 하나의 어려움이 발생합니다. Apple 제품 내에서만 동작하는 ASA의 소리를 어떻게 획득할 수 있느냐의 문제입니다. 하지만 다행히도 가우디오랩에서는 ASA에서 동작하는 필터들을 획득할 수 있었는데요, 현재는 iOS버전이 업데이트 되면서 그 획득 경로가 막혀있지만, 한 때는 Spatial Audio 기능을 켜고 음원을 재생하면 Airpods Pro와 같은 TWS로 전송되는 신호를 획득할 수 있어 이를 활용하였습니다.

 

이렇게 재생하고자 하는 음원을 iPhone에서 재생하고 실제 렌더링된 신호를 획득하는 것도 방법이겠지만, swept sine 과 같은 신호를 이용하면 ASA의 필터 계수 자체를 획득할 수도 있습니다. 이렇게 획득한 필터와 음원을 합성한 후 Airpods Pro 로 재생하면 실제 iPhone/AirPods Pro에서 Spatial Audio가 적용되어 렌더링 된 소리와 동일하게 재생됩니다. 이런 방법 외에 약간의 오차가 존재하지만 ear simulator에 Airpods Pro를 장착하고, ASA 를 on/off 한 상태의 응답을 획득해서 TWS의 응답을 배제한 상태의 ASA 필터를 획득하는 방법도 있습니다만, 이렇게 필터 계수를 획득하는 방법은 이 글의 내용과 거리가 있기도 하고 다소 기술적인 내용이기에 건너뛰도록 하겠습니다.

 

청취 평가에서는 ASA와 GSA를 공정하게 비교하기 위해 음질 평가용 시료로는 AirPods Pro를 사용하였습니다. 이렇게 비교하면 최종 재생 Device의 차이로 발생하는 품질에 대한 영향은 최소화 하고, 공간 음향을 구현하기 위한 렌더러의 성능에 보다 집중해서 평가를 진행할 수 있게 됩니다.

 

이와 더불어 비교 대상에는 ASA나 GSA를 거치지 않은 원본 신호도 포함하였습니다. ASA와 GSA 사이의 우열만을 가리다가 둘 다 원본보다 못한 결과였다면 의미가 없을테니까요. 이 결과를 보면 공간 음향에 대한 평가자의 전반적인 원본 대비 선호도를 함께 비교해 볼 수 있겠네요. 5.1채널 음원은 5.1 ch-to-2 ch 로 다운믹스한 것을 원본 신호로 가정했습니다. 최종적으로 하나의 평가 음원(Audio Excerpt)에 대한 비교 음원은 아래와 같이 구성됩니다.

 

• GSA (Gaudio Spatial Audio) vs. ASA (Apple Spatial Audio)
• GSA vs. Original
• ASA vs. Original

 

(4) 주관 평가 진행 환경 Environment of Subjective Quality Evaluation

 

실제 평가자가 주관 평가를 진행하는 환경은 아래와 같습니다.

그림에서 확인하실 수 있듯이 평가 음원(Audio Excerpt)의 이름만 알 수 있을 뿐, 평가자는 A와 B 에 ASA와 GSA, 그리고 원본 중 어떤 신호가 할당되어 있는지는 알 수 없습니다. 평가를 설계한 사람도 A와 B가 어떻게 할당되는지 알 수 없고, 어떤 음원이 먼저 평가 항목으로 나올지 역시 평가 설계자나 평가자가 선택할 수 없습니다. 음원의 순서도 시스템에서 임의의 제시 되기 때문에 음원의 순서 또한 결과에 영향을 미치지 않습니다. 

 

위 화면에서 평가자는 두 개 중 더 좋다고 생각되는 하나를 선택하게 되고, Next Test 버튼을 누르면 다음 평가를 진행할 수 있습니다. 이것이 앞서 언급했던 이중 맹검 강제 선택 방법이죠. 한 음원을 평가하는 중에 특정 구간을 반복해서 들을 수도 있고, 반복 횟수의 제한은 없습니다. 해당 평가 시스템은 GAUDIO 서버에 설치되어 있어서 웹 기반으로 동작하기 때문에 여러 명이 동시에 평가를 진행할 수도 있습니다. 각 평가 세션이 끝나면, 결과 파일은 서버에 저장됩니다. 

 

(5) 평가자 집단

 

이번 평가에는 20대~40대의 총 20명의 성인 남,여가 참가했습니다. 20명 가운데, 11명은 이와 같은 청취 평가 경험이 풍부한 훈련된 평가자이고, 일반인 관점의 평가를 반영하기 위해 9명은 관련 기술 및 음질 평가에 문외한이나 평소 음악 청취 등에 관심이 많은 일반인을 포함하였습니다. 

 

평가 결과는 Part 2에서 이어집니다.