중요한 것은 꺾이지 않는 음질: 공간 음향의 음질 왜곡 문제, 가우디오랩은 이렇게 해결했습니다.   가우디오랩은 혁신적인 오디오 원천 기술을 바탕으로 이 기술들이 담긴 SW 제품으로 세상의 소리 문제를 푸는 일을 합니다. 이를 통해 더 살기 좋은 세상, 하루 하루가 더 풍요로운 세상을 만들어 갑니다. 원천 기술이라는 말은 글자 그대로 Originality가 가우디오랩에 있다는 말입니다. 그리고 이를 세상에 공표하는 방법 중 하나가 특허입니다. 가우디오랩의 핵심 기술 중 상당수는 특허를 통해 보호하고 있고, 그러니 당연히도 회사의 업력이나 크기에 비하면 상당히 많은 특허를 보유하고 있습니다.  단, 어떤 기술들의 경우는 기술의 원천성이 있더라도 ‘전략적으로' 즉, 의도적으로 특허 출원을 하지 않는 경우도 있습니다.    특허란 (인류 발전을 위한) 기술 공개에 대한 대가로 일정 기간 (보통 20년) 발명자에게 독점권을 인정하는 제도입니다. 하지만, 일정 기간이 지나면 기술이 공개되기 때문에 경쟁사도 쉽게 모방할 수 있다는 뜻이기도 합니다. 그런데, 어떤 기술을 제3자가 베껴서 사용(침해)했는지 여부를 입증하는 책임은 일차적으로 특허권자에게 있습니다. 따라서, 침해 여부의 입증이 쉽지 않은 기술인 경우는 공개를 하지 않는 편이 사업적으로는 나을 수도 있습니다.   인류의 진보를 위해서는 다른 얘기이겠지만, 영리를 목적으로 해야하는 기업의 입장에서는 열심히 연구 개발한 내용을 대가없이 공개한다는 것은 어려운 일입니다. 그럼에도 가우디오랩 설립 이래 출원한 특허는 이미 100건을 훌쩍 넘습니다. 아무리 가우디오랩이 기술 기반의 회사라고 해도 결코 적지 않은 숫자입니다.    현재까지 공개된 가우디오랩의 특허 목록은 이곳에 게시되어 있습니다: https://www.gaudiolab.com/company/patents  그리고 간단한 구글 검색을 통해 해당 특허들의 전문을 확인할 수 있습니다. 다만, 업계의 전문가가 아니면, 특허 문서를 읽고 이해하는것은 여간 쉽지 않습니다. 그래서, 좀 더 친절해져보기로 했습니다. 이번 기회를 통해 회사의 특허들을 일반인(?)의 눈높이에서 쉽게 소개해보려고 합니다.   어떠한 문제를 풀고자 하였는지(문제정의), 그렇게 발명한 아이디어의 핵심(특허에서는 이를 Subject Matter라고 합니다)이 무엇인지, 그리고 이를 통해 얻게 된 발명의 효과가 무엇인지를 중심으로 설명합니다.    가우디오랩이 그간 출원한 100개가 넘는 특허중에 어떤 녀석을 첫번째로 할 지 고민하다가 그래도 가우디오랩이 스스로 원조 맛집이라고 자부하는 공간 음향(Spatial Audio), 그 가운데서도 헤드폰(이어버드)을 통한 공간 음향의 핵심 기술인 바이노럴 렌더링(Binaural Rendering)부터 시작해야겠다고 결정했습니다. 분야를 좁혀도 50개가 넘는 후보가 있었습니다. 중요하지 않은 특허는 없고 (중요하지 않다면 그 노력과 비싼 비용을 들여 출원하지 않았을 겁니다), 하나하나 발명자들의 피땀이 서린 자식만큼 귀한 녀석들이다보니 더 고민이 되었습니다 . 이번 시리즈가 완성이 되면, 결국 모든 특허가 소개될테니 관계없어 지겠지만 첫 에피소드는 언제나 중요하니까요.   그렇게 고심끝에 선택한 첫번째 특허는 US 10,609,504 B2 (Audio signal processing method and apparatus for binaural rendering using phase response characteristics) 입니다. 친절한 특허 이야기인만큼, 특허에 붙여진 고유번호를 읽는 방법부터 간단히 설명드리면, ‘US’는 미국 특허라는 의미입니다. 한국은 KR, 중국은 CN, 일본은 JP 식의 2자리 고유 이니셜이 붙습니다. ‘B2’는 이 특허가 ‘등록(Granted)’된 특허라는 의미입니다. 즉, 미국 특허청의 심사를 통해 특허권을 인정받은 특허라는 의미입니다.   아직 등록되기전, 즉, 출원만 되어 있고 심사절차를 진행하고 있는 특허는 A1/A2와 같은 기호가 붙습니다. ‘10,609,504’은 미 특허청에서 등록특허에 붙이는 일련번호입니다. 미국에 특허제도가 생긴이래 약 1060만번째쯤 되는 특허라는 뜻이 되기도 합니다. 에디슨이 발명하던 시절 특허는 몇 만~몇 십만 단위였겠죠. 괄호에 있는 텍스트는 발명의 제목입니다. 어떤 경우는 발명의 제목이 발명 자체를 잘 묘사하는 친절한 경우도 있고, 어떤 경우는 (출원자의 약간은 의도가 담기기도 하여) 불친절하거나 모호하게 기재된 경우도 있습니다. 제목으로 특허의 권리가 한정되는 것은 아니기 때문에 자유 영역입니다.    한편 이 특허는 KR, CN, JP에도 출원 및 등록 되어 다음과 같은 쌍둥이 특허를 가지고 있습니다.    KR 10-2149214 (위상응답 특성을 이용하는 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치) CN 110035376B (使用相位响应特征来双耳渲染的音频信号 处理方法和装置) JP  6790052 B2 (位相応答特性を利用するバイノーラルレンダリングのためのオーディオ信号処理方法及び装置)   이상의 특허들은 아래 링크를 통해 전문을 확인할 수 있습니다. US 특허 기준 링크: https://patents.google.com/patent/US10609504B2/en?oq=US10609504B2    이들을 패밀리 특허라고 부릅니다. 특허는 각 국가별 제도이기 때문에 나의 발명을 전세계에서 보호받고자한다면, 각 국가의 특허청에 개별로 신청하고 등록해야합니다. 국가별로 그리고 특허를 심사하는 심사관별로 해당 기술에 대한 인정 여부가 다를 수 있기 때문에 동일한 기술이더라도 국가별로 권리의 범위가 다를 수도 있고, 어떤 나라에서는 아예 등록이 안될 수도 있습니다.     그럼 이제 본격적으로 특허의 내용을 살펴보겠습니다.    [발명이 풀고자 하는 문제]    헤드폰을 통해 공간 음향을 생성하는 방법인 바이노럴 렌더링은 오디오 신호에 HRTF(머리 전달 함수)라는 필터를 입히는 과정입니다. 조금 더 상세한 바이노럴 렌더링 기술의 개요는 이곳을 참고하세요. 그런데, 아주 많은 사례에서 필터를 1개만 입히는 것이 아니라, 여러 개의 필터를 병렬로 입혀야 하는 경우가 발생합니다.   HRTF는 공간상의 특정한 하나의 점에 매핑되는 필터인데요, 예를 들어 참새 소리가 하나의 점에 대응된다면, 코끼리의 울음 소리는 일정 크기 만큼의 범위에서 소리가 난다고 할 수 있고, 이 경우 여러 개의 점에 해당하는 HRTF로 그 소리를 묘사할 수 있을 것입니다. 또, 어떤 소리가 벽에 부딪혀 반사되는 경로를 통해서도 우리 귀에 전달된다면, 원래 소리와 벽에 부딪혀서 오는 소리가 각각 다른 위치로부터 출발하기 때문에 각각에 따른 다른 HRTF가 필요할 것입니다. 또한 HRTF가 주는 자극이 너무 강해서(강하다는 말은 음색 변화가 그만큼 크다는 의미일 수 있습니다) 이를 약간 희석해야 한다면, 희석 작용을 하기 위한 처리도 일종의 필터이기 때문에 복수의 필터를 입히는 경우에 해당합니다.   이처럼 바이노럴 렌더링을 실제로 구현하는 과정에서 하나의 음원에 대해 복수의 필터를 적용해야하는 경우의 수는 많습니다. 그리고 바이노럴 렌더링에 한정하지 않더라도, 오디오에 어떤 효과를 입히는 과정은 다수의 필터를 복합적으로 입히는 과정인 경우가 많습니다.    한편 여러 개의 필터를 겹쳐서 입히는게 무엇이 문제일까요? 입력 오디오 신호가 각 필터를 통과해서 나오는데 까지 걸리는 시간지연(Delay)이 제각각 서로 다르면 이렇게 섞어서 만든 출력 신호에는 의도하지 않은 음질 왜곡인 콤필터 효과(Comb Filter Effect)가 필연적으로 발생합니다. 오디오 신호를 왜곡하는 모양이 주파수 축에서 관찰했을 때 마치 빗살(Comb)과 같이 나타난다고 하여 붙여진 이름입니다. 어떤 주파수 대역의 신호는 크게 증폭이 되고 어떤 주파수 대역은 크게 감쇄되기 때문에 원음을 많이 왜곡하게 됩니다. 딜레이가 다른 두 개의 필터를 통과한 신호에 필연적으로 나타나는 물리 현상입니다.    그림 1: 콤필터 효과의 예시((image source: http://www.sengpielaudio.com/calculator-combfilter.htm)   그림 2: 콤필터 효과의 예 - 주파수 응답에서 빗살 모양의 주기적인 왜곡이 발생한다 (본 특허 US 10,609,504 B2의 Fig. 24 인용)   그렇다면 병렬로 입히려는 여러 필터의 딜레이들을 딱 맞춰주면 문제가 없겠네요. 맞는 얘기입니다. 그런데, HRTF의 경우에는 여기서 한가지 문제가 더 발생합니다. HRTF라는 것이 사람 또는 사람을 모사한 마네킹의 귀에 마이크를 두고 여러 방위에서 소리를 발생시켜 실측하여 얻어지는 필터라는 점입니다. 따라서, 아무리 정확하게 측정하려고 해도 필터와 필터 사이에는 미세한 딜레이의 차이가 발생합니다. 여러 원인에 따른 실측 오차인 것이죠. 그 오차들로 인해 필터 응답의 각 주파수 마다도 딜레이가 조금씩 다른 문제가 발생합니다. 그로 인해서 복수의 HRTF를 병렬로 입히는 과정에서 의도치 않은 콤필터 현상이 발생하여 음질을 훼손하고 마는 문제에 봉착합니다.    본 발명 특허는 바로 이 문제를 해소하기 위해 고안되었습니다.   [발명의 핵심 아이디어(Subject Matter)]   문제만 잘 정의하면 의외로 해결 방법은 간단할 때가 있습니다. 본 발명에서 풀어야할 문제의 경우가 그런 경우입니다. 각 HRTF 필터의 각 주파수별 딜레이가 제각각으로 다른 것이 문제이니 “이를 똑같이 맞춰주자”가 본 발명의 본질, 즉 Subject Matter 입니다. 지금까지 독자의 눈높이에 맞추기 위해 딜레이라고 표현하였습니다만, 이를 신호처리(Signal Processing) 영역으로 가져오면 주파수축에서 위상(Phase)이라는 값으로 표현이 됩니다. 주파수 축에서의 이 위상 응답을 선형(Linear)로 맞춰준다는 것이 딜레이를 고정한다는 것이고, 그 고정된 딜레이를 필터마다 똑같이 맞춰주는 것으로 콤필터 왜곡을 해소할 수 있다는 의미입니다. 아래 그림은 선형화되기 전 원본 HRTF의 위상 응답과 선형화된 HRTF 위상 응답을 나타내는 예시입니다.    그림 3: 본 특허 US 10,609,504 B2의 Fig. 4 - 원본 HRTF의 위상응답과 선형화(Linearization)된 위상 응답 예시   HRTF에 이 선형화 아이디어를 적용하는데는 한가지 중요한 문제가 있습니다. 여기서도 설명한 것과 같이 HRTF는 음원의 위치에 해당하는 한 점으로부터 양쪽 귀까지의 경로를 묘사하는 쌍(즉 2개)으로 이루어진 필터 집합인데, 그 한 쌍의 필터의 상대적인 관계가 소리에 대한 공간화를 결정짓는 요소입니다. 그 상대적인 관계는 양쪽 필터의 위상 응답의 상대적인 관계를 포함하고요. 그 말은 양 쪽 필터를 각각 임의로 선형화하게 되면, 둘 간의 상대적인 관계(위상에 대한 한 쌍의 필터의 상대적인 관계를 Inter-aural Phase Difference, IPD라고 부릅니다)가 틀어지게 되는 것이죠. 콤필터 왜곡을 없애려다 HRTF의 본업인 공간화 효과를 잃어버리는 것입니다.   이 문제를 추가적으로 해소하기 위해 본 발명에서는 쌍을 이루는 두 필터 가운데 한쪽 필터만을 선형화하고, 반대쪽 필터는 두 필터 사이의 위상차이 즉, IPD가 유지되는 방향으로 위상값을 보정하는 아이디어를 추가했습니다.   HRTF의 쌍을 이루는 두 개 필터 가운데 한 점으로부터 거리가 가까운 귀까지의 경로에 대응하는 필터를 동측 필터(Ipsilateral HRTF)라고 하고, 먼 귀까지의 경로에 대응하는 필터를 대측 필터(Contralateral HRTF)라고 하는데, 동측 필터가 더 큰 에너지를 갖기 때문에 (가까운 귀에 소리가 더 크게 들리겠죠), 동측 필터의 위상 응답을 선형화하는 방법을 취합니다.    [발명의 효과]   이렇게 함으로써 이제 아무리 많은 수의 HRTF를 겹쳐서 적용하더라도 콤필터 왜곡 문제가 발생하지 않습니다. 공간 음향을 구현함에 있어서 흔히 발생하는 가장 어려운 문제중 하나인 원본 음질의 훼손을 크게 줄여주는 효과입니다.    공간 음향은 소리를 어떤 공간에서 실제 들리는 듯한 효과를 제공하는 기술이기 때문에 게임, 영화, 가상/증강 현실, Spatial Computing과 같은 응용분야에서 필수적으로 요구됩니다. 지금 내가 내 방에 앉아서 카네기홀에서 이뤄지는 테일러 스위프트의 공연을 보고 있는 것 같은 착각(Illusion)을 만들어 내는 것이며, 이를 “Being There” Experience라고 부르기도 합니다. 그런데 이를 구현하기 위해서 HRTF를 적용하다보면 이는 원본 소리에 변형을 가하는 필터를 입히는 것이기 때문에 오늘 살펴본 것과 같이 필연적으로 왜곡을 수반합니다. 따라서, 좋은 공간 음향 기술이라는 것은 왜곡은 최소화하면서 사용자에게 실제와 같은 경험을 제공하느냐이고, 이 과정에서 본 발명의 기술은 지금도, 그리고 앞으로도 상당히 중요한 역할을 하게 될 것입니다.   가우디오 공간 음향 기술을 이루는 핵심 기술 하나를 최대한 자세히 설명해보았는데요, 공간 음향 기술에 대해서, 그리고 좋은 공간 음향 경험을 위한 가우디오의 진심이 조금이라도 여러분에게 전달되었기를 바랍니다. 앞으로도 특허를 통해 훌륭한 소리 경험을 위한 가우디오랩의 노력을 여러분께 보여드릴 예정이니, 앞으로 게시될 글에도 많은 관심 부탁드립니다.