뒤로가기back

AES Dublin 2019 프리뷰

2019.03.05 by Henney Oh

AES (Audio Engineering Society) Convention 은 매년 봄과 가을에 열리는 오디오 업계의 가장 크고 오래된 역사를 가진 전시+학회 입니다. 봄에는 유럽 (영국포함)에서 가을에는 미국 (주로 New York)에서 열립니다. 미국에서 열리는 경우 전시회가 행사의 스케일을 키워주는 반면, 유럽에서 진행하는 봄 컨벤션의 전시회는 깜짝 놀랄 만큼 작고 (동네 바자회 아냐?), 대신 제출된 논문들과 회의장의 디스커션은 깊이가 조금 더 있는 느낌도 듭니다.

 

이번 제146차 AES Convention은 2019.3.20-23, 더블린 (아일랜드)에서 열립니다. 프로그램 미리보기로 더블린에 마음을 띄워보내봅니다.  

 

4일간에 걸친 Paper Session (Engineering Brief 포함)의 세션 제목들만 보아도 현재 학계의 유행 트렌드를 볼 수 있습니다. 예를들어 VR의 바람이 거세던 2015년부터 직전 AES까지는 (Spatial Audio 세션과는 별개로) Binaural Audio 만 따로 모은 세션이 2-3개씩 될 만큼 (논문 편수로는 ~20여개) 때아닌 열풍이 불었었죠. 가우디오랩도 키노트 발표를 하는 등 유행을 거들었던 바 있구요. 이번 AES에서는 바이노럴 바람이 좀 잠잠해진 기미가 보이네요. 총 22개의 Paper Session 가운데 Spatial Audio는 딱 차례 있습니다. 물론 HRTF, Ambisonics, 3D Audio 등 관련 논문들이 여기 저기 다른 세션에 포함되어 있기는 하구요. 그리고, 쉽게 예상할 수 있듯, Machine Learning 태풍은 AES도 그대로 투영되어 독립 세션이 2개나 등장하였습니다. 아직까지 Audio Machine Learning은 음성이나 영상에 비하면 상당히 미개척된 분야라고들 하지요.

 

AES Convention에는 Paper Session 이외에 조금 더 간단한(?) 실험결과나 유용한 정보를 담은 Engineering Brief 세션들이 따로 있고 (경우에 따라 정규 논문과 별 구별이 없습니다), Tutorials와 Workshop들도 4일 내내 꽉꽉 담아 동시에 진행되어서 현장에 도착하면, AES 전통의 가이드북 (사진)을 들고 이방 저방 찾아다니며 뭘 들어야 하나 선택장애 상황에 놓이곤 하죠.

 

이번 AES Dublin에서 관심 가는 논문들을 몇 개 픽 (Pick) 합니다. (가우디오랩의 주관심분야에 한정된 선택이니 그 여부가 본 AES의 대표 자격을 의미하진 않습니다 ^^)  

 

Convention Paper

P15-2 Turning the DAW Inside Out—Charles Holbrow, Massachusetts Institute of Technology – Cambridge, MA, USA; MIT Media Lab

“Turning the DAW Inside Out” describes a speculative, internet-enabled sound recording and music production technology. The internet changed music authorship, ownership, and distribution. We expect connected digital technologies to continue to affect the processes by which music is created and consumed. Our goal is to explore an optimistic future wherein musicians, audio engineers, software developers, and music fans all benefit from an open ecosystem of connected digital services. In the process we review a range of existing tools for internet enabled audio and audio production and consider how they can grow to support a new generation of music creation technology.

 

Convention Paper 10183

요즘 스트리밍 미디어로서 음악 및 오디오 서비스가 어떻게 진화할 지에 관심이 높은데, 제목과 요약이 호기심을 끌었네요. 그런데, 요약이 너무 거창해서 실속 없는 총론뿐일까 하는 의문도 드네요. 뮤지션, 오디오 엔지니어, 소프트웨어 개발자, 음악 팬이 모두 베네핏을 얻을 수 있는 오픈 에코시스템이라… too good to be true?  

P20-2 Automatic Detection of Audio Problems for Quality Control in Digital Music Distribution—Pablo Alonso-Jiménez, Universitat Pompeu Fabra – Barcelona, Spain; Luis Joglar-Ongay, SonoSuite – Barcelona, Spain; Xavier Serra, Universitat Pompeu Fabra – Barcelona, Spain; Dmitry Bogdanov, Universitat Pompeu Fabra – Barcelona, Spain

 

Providing contents within the industry quality standards is crucial for digital music distribution companies. For this reason an excellent quality control (QC) support is paramount to ensure that the music does not contain audio defects. Manual QC is a very effective and widely used method, but it is very time and resources consuming. Therefore, automation is needed in order to develop an efficient and scalable QC service. In this paper we outline the main needs to solve together with the implementation of digital signal processing algorithms and perceptual heuristics to improve the QC workflow. The algorithms are validated on a large music collection of more than 300,000 tracks.

 

우린 별 생각 없이 음악스트리밍 서비스를 접하고 있지만, 스포티파이는 6천만곡, 한국의 벅스는 2천만곡이 넘는 노래를 보유하고 있고, 매일 수천에서 수만곡이 새로 추가되고 있다고 하더군요. 그런데, 그 많은 곡들을 들어보고 서비스할까? 19금 가사는 없는지, 음질은 안깨졌는지, … QC (Quality Control) 을 어떻게 해결할까 호기심가는 주제였는데, 여기 그 고민을 하고 솔루션을 제시한 곳이 있네요. 설명으론 요즘 유행하는 기계 + 사람 워크플로를 제안하는 것 같네요…  

 

P17-4 Detecting Road Surface Wetness Using Microphones and Convolutional Neural Networks—Giovani Pepe, Universitá Politecnica delle Marche – Ancona, Italy; ASK Industries S.p.A. – Montecavolo di Quattro Castella (RE), Italy; Leonardo Gabrielli, Universitá Politecnica delle Marche – Ancona, Italy; Livio Ambrosini, Universita Politecnica delle Marche – Ancona, Italy; ASK Industries S.p.A. – Montecavolo di Quattro Castella (RE), Italy; Stefano Squartini, Università Politecnica delle Marche – Ancona, Italy; Luca Cattani, Ask Industries S.p.A. – Montecavolo di Quattrocastella (RE), Italy

 

The automatic detection of road conditions in next-generation vehicles is an important task that is getting increasing interest from the research community. Its main applications concern driver safety, autonomous vehicles, and in-car audio equalization. These applications rely on sensors that must be deployed following a trade-off between installation and maintenance costs and effectiveness. In this paper we tackle road surface wetness classification using microphones and comparing convolutional neural networks (CNN) with bi-directional long-short term memory networks (BLSTM) following previous motivating works. We introduce a new dataset to assess the role of different tire types and discuss the deployment of the microphones. We find a solution that is immune to water and sufficiently robust to in-cabin interference and tire type changes. Classification results with the recorded dataset reach a 95% F-score and a 97% F-score using the CNN and BLSTM methods, respectively.

 

Convention Paper 10193

자율주행 자동차를 위해 마이크 신호로 노면이 젖었는지를 판별하겠다고 합니다. 대표적 머신러닝 기법인 CNN을 이용해서요.. 타이어에 따라 달라지는 특성도 고려한다고 하는데, 자율주행의 완벽성을 위해 하나 더 센싱에 말이 안되는 얘기는 아닌 것 같습니다.

 

P05-6 ANC System Using Secondary Path Modeling Based on Driver’s Position in Vehicle—Seyeong Jang, Hyundai Mobis – Seoul, Korea; Jongin Jung, Hyundai Mobis – Seoul, Korea; Hyungsub Lim, Hyundai Mobis – Seoul, Korea

 

In this paper we propose a study of active noise control systems using the concept of Secondary Path modeling based on driver position in the vehicle. The system obtains estimates of the Secondary Path within range of occupant location and applies them to the ANC system to compensate for change depending on the driver’s position. We used the Offline Secondary Path modeling method and FxLMS algorithm in ANC System. Under assumption of detecting a change in position, the secondary path model is applied according to the occupant position and used as initial value of the ANC system. Therefore, ANC performance is better than a system that does not consider existing changing Secondary Path.

 

Convention Paper 10149

한국분들 (모비스)이 저자인 논문이라 일단 픽.했습니다. ANC (Active Noise Canceling). 노이즈캔슬링 헤드폰의 그 ANC입니다. 차량 실내 혹은 엔진 배기통을 ANC로 해결해보고자 하는 시도는 1990년대에도 한참 연구가 되었을만큼 오래된 분야입니다. 운전석의 소음을 줄이기 위해 ANC의 대표 접근방법이랄 수 있는 Filtered-X LMS (FxLMS) 를 2차 path를 추가하여 개선하는 방법을 다루고 있는 것 같네요.

 

P14-2 B-Format Decoding Based on Adaptive Beamforming—Alexis Favrot, Illusonic GmbH – Uster, Switzerland; Christof Faller, Illusonic GmbH – Uster, Zürich, Switzerland; EPFL – Lausanne, Switzerland

 

B-Format signals can be decoded into signals with first order directivity. For stereo and multichannel decoding it would be desirable to have more channel separation than what is achievable by first order. DirAC (directional audio coding) and HARPEX (high resolution plane wave expansion) achieve higher channel separation by means of using a parametric B-Format model to estimate plane waves and diffuse sound, and adaptively rendering those. A limitation is that plane wave and diffuse models are too simple to represent complex B-Format signals. We propose a B-Format decoder, where each channel is generated by an independent adaptive B-Format beamformer. Each beam is generated independently of the other beams, circumventing the limitation when using a single B-Format signal model.

 

Convention Paper 10180

가우디오랩과 Illusonic GmbH (스위스 소재의 오디오 기술회사입니다) 15년이 넘는 우정을 나누는 친구회사입니다. 올해도 거르지 않고 논문이 나왔네요. 훈남청년 (이젠 중년?) Alexis가 B-format (Ambisonics) 신호로부터 Adaptive Beamforming 기술을 이용해서 다채널 (e.g. 5.1채널) 오디오 신호를 잘 만들어냈다는 내용을 쓴 것 같습니다.

 

EB01-4 Consideration on the Design of Multi-Zone Control System in a Vehicle Cabin—Wan-Ho Cho, Korea Research Institute of Standards and Science (KRISS) – Daejeon, Korea, Republic of; Ji-Ho Chang, Korea Research Institute of Standards and Science (KRISS) – Daejeon, Korea

 

The personal audio system to generate different sound conditions for each seat in a vehicle cabin is the representative application of multi-zone sound field control. Here, the effectiveness validation of source positions and the robustness of estimated solutions are investigated for the design of a multi-zone control system in a vehicle cabin. To quantify the efficiency of source position, the linear independency test of transfer matrix between the candidate positions of sources and listener is conducted, and an efficient position is selected by the quantified value estimated by the effective independence method. The dummy head source system is applied to measure the transfer matrix efficiently. With the properly selected source positions, it is observed that the control performance is prominent and robust.

 

Engineering Brief 494

역시 한국저자분들이라 일단 픽 ^^. 한국표준과학연구원 (KRISS)에서 차량내 Personal Audio System (위치별로 사운드존을 형성) 관련한 연구 내용을 공유했네요. 소스 (음원이겠죠?)의 위치에 따라 성능이 달라지는 것을 확인했다는 내용인 것 같습니다…

 

EB04-1 A Study in Machine Learning Applications for Sound Source Localization with Regards to Distance—Hugh O’Dwyer, Trinity College – Dublin, Ireland; Sebastian Csadi, Trinity College Dublin – Dublin, Ireland; Enda Bates, Trinity College Dublin – Dublin, Ireland; Francis M. Boland, Trinity College Dublin – Dublin, Ireland

 

This engineering brief outlines how Machine Learning (ML) can be used to estimate objective sound source distance by examining both the temporal and spectral content of binaural signals. A simple ML algorithm is presented that is capable of predicting source distance to within half a meter in a previously unseen environment. This algorithm is trained using a selection of features extracted from synthesized binaural speech. This enables us to determine which of a selection of cues can be best used to predict sound source distance in binaural audio. The research presented can be seen not only as an exercise in ML but also as a means of investigating how binaural hearing works.

 

Engineering Brief 509

더블린에서 열리니 더블린 논문이 많아지는건 당연한거고. 유행하는 머신러닝과도 만났네요. 머신러닝 기법을 이용하여 바이노럴 신호 (레코딩? 합성?)로부터 음원의 거리를 추정하는 연구라네요. 50cm 이내의 음원에 대해 거리를 알아내는데 그 과정에서 거리에 영향을 주는 binaural hearing에 무엇이 있는지 덤으로 얻을 수 있다는군요. 제시된 요약만으로 왜 이 연구를 했는지 명확해보이진 않고, 따라서 50cm 이내라는 제약이 실험의 한계인지, 응용 시나리오가 그렇기 때문인지도 불명확하네요.

 

EB06-1 The Effect of HRTF Individualization and Head-Tracking on Localization and Source Wdith Perception in VR—Hengwei Su, Tokyo University of the Arts – Tokyo, Japan; Atsushi Marui, Tokyo University of the Arts – Tokyo, Japan; Toru Kamekawa, Tokyo University of the Arts – Adachi-ku, Tokyo, Japan

 

In this study the effects of head-tracking and HRTF individualization by subjective selection on localization and width perception of widen-processed sources in VR were investigated. Localization test and the perceived width evaluation were conducted under conditions with or without head-tracking and using individualized or non-individual HRTF. For the perceived width evaluation, monophonic signals were processed by a method proposed in previous studies, which aimed to create spatial extent for sound objects in the binaural synthesis. According to the results, head-tracking not only was effective to improve localization accuracies in localization test, but also could help synthesized source widths to be localized more accurately. No difference in perceived width was found under different conditions.

 

Engineering Brief 520

유행하던 바이노럴 / HRTF 연구의 연장선으로, 헤드트래킹과 HRTF 개인화 (각 개인에 따라 맞춘 HRTF 사용)가 localization (음원의 공간 위치 정확도)과 source width (음원의 크기)에 미치는 영향을 분석한 논문 (Brief)입니다. 맞게 해석한 것이라면, 헤드트레킹은 localization과 width 정확성에 모두 도움이 되지만 개인화는 영향이 없다는 것 같군요. 

 

Tutorials

이번 AES Convention에서 제목만으로 관심을 끌만한 Workshop을 발견하진 못했습니다. Tutorials 중에서는 다음의 2개를 꼽았는데요..

T19 – Practical Deep Learning Introduction for Audio Processing Engineers

Presenter: Gabriele Bunkheila, MathWorks – Madrid, Spain

 

Are you an audio engineer working on product development or DSP algorithms and willing to integrate AI capabilities within your projects? In this session we will walk through a simple Deep Learning example for speech classification. We will use MATLAB code and a speech command dataset made available by Google. We will cover creating and accessing labeled data, using time-frequency transformations, extracting features, designing and training deep neural network architectures, and testing prototypes on real-time audio. We will also discuss working with other popular Deep Learning tools, including exploiting available pre-trained networks.

 

신호처리 연구자들의 비빌언덕 매틀랩에서도 머신러닝 툴셋을 제공하고 있는데요, 그 툴들을 오디오 엔지니어들이 활용할 수 있도록 소개하는 자리인 것 같습니다.

 

T26 – Sound for Extreme 360° Productions

Presenter: Martin Rieger, VRTONUNG – Munich, Germany

The workshop shows various examples of 360-degree video productions under challenging conditions, featuring location recordings and post-production. The purpose of the talk is to give practical insights of immersive VR-videos and how sound on vision needs to be contemplated, which varies a lot from usual film formats and requires a lot of knowledge additional to audio as such. Different technologies and sometimes even custom solutions are needed on set and in post. There is no use for a boom microphone and its operator, which gets replaced by an immersive microphone array which there is, just like for 360° cameras, no perfect setup for every occasion as people tend to claim that there is.

 

가우디오랩의 VR360 저작툴인 Works를 사용하는 고갱님이기도 한데요, 익스트림 환경 (이 어떤 예들을 말하나는 모르겠네요)에서 VR video에 적합한 오디오 취득, 편집 기법을 연구한 내용을 소개하려는 것 같습니다.  VR이 활성화되는데 시간이 걸리는 이유의 첫번째는 디바이스 확산 속도이겠지만, 콘텐츠를 제작하는 비용도 또다른 원인중에 하나이지요. Works는 그 문제를 해결하기 위해 등장했던 툴이기도 했구요… 

이상으로 2019년 봄 AES Convention, Dublin 을 프리뷰해보았습니다. 이제 비행기 예약을 고민할 때?

 


Gaudio Lab 은…

가우디오랩(주)는 VR/AR, 스트리밍 미디어, 모바일, 홈 등 소리가 있는 어디에서나 사람들에게 훌륭한 소리 경험을 제공하는 일을 합니다. 인터넷으로 연결된 가상 세계를  더욱 현실처럼 만드는 소리 기술들로 전세계를 누비며, “올해의 최고 VR 혁신 기업상 수상 (VR Awards, 런던, 2017)”, “ISO/IEC MPEG-H 3D Audio 국제표준 채택 (2013, 2018)”으로 혁신적인 오디오 기술력을 인정받았습니다. 음향공학박사 6명을 비롯한 가우디오랩의 오디오 긱들은 실리콘밸리와 서울에 서식하고 있습니다.   

 
pre-image
미디어 스트리밍을 위한 라우드니스 정규화 시스템 구축방법

미디어 서비스를 제공하는 입장에서 사용자에게 더 좋은 오디오 경험을 제공하는 것은 매우 중요한 일입니다. 대표적으로 ‘미디어들의 볼륨 불균형’은 사용자가 겪는 주요한 불편함 중 하나입니다. 예를 들면, 소리가 작아 대사가 잘 들리지 않는 드라마 영상을 시청 하느라 볼륨을 키웠다가 곧 이어 나온 광고 영상의 소리가 갑자기 커져서 다급히 볼륨을 줄여야 하는 일은 하루에도 여러번 겪는 불편함입니다. 심지어 너무 큰 소리 때문에 깜짝 놀라 다급히 이어폰을 빼는 일도 있었을 것입니다. 다음은 한국의 한 OTT 서비스에 최근 (2018년 하반기) 올라온 사용자 댓글들입니다.   “갑자기 대출 광고 소리만 크게 나오는데 수정 바랍니다. 정말 듣기 싫습니다.” “다른 플레이어에 비해서 음량이 너무 작아요. 최대 15로 해도 잘 안들리는데 음량 좀 키워주세요.”   라우드니스 정규화 (Loudness Normalization)는 이와같은 ‘미디어들의 볼륨 불균형’ 문제를 해결하는 방법입니다.   라우드니스 정규화 (Loudness Normalization)이란? 음량 (라우드니스)은 사람의 청각이 실제로 느끼는 소리의 감각적인 크기를 의미합니다. 일반적으로 사람의 청각은 물리적으로 동일한 강도의 세기를 가진 소리라 할지라도 소리의 주파수에 따라 다른 크기로 느낍니다. 따라서 음량은 데시벨, SPL (Sound Pressure Level)과 같은 물리적인 수치와는 다른 LKFS (ITU-R), LUFS (EBU-R128) 같은 단위를 사용합니다. 라우드니스 정규화는 각 프로그램들의 평균적인 음량 (Integrated Loudness, 프로그램 전체에 대한 평균 라우드니스, 긴 묵음 구간을 측정에서 제외함)를 기준 범위 내로 맞추는 것입니다. 일반적으로 이 기준을 타깃 라우드니스라고 합니다. 국가별 방송 표준의 경우 각 프로그램이 라우드니스 정규화를 강제하도록 규정하고 있습니다.  미국, 한국, 일본의 경우 -24 +/-2 LKFS, 유럽의 경우 -23 +/- 2 LUFS로 정의하여 서비스되고 있습니다. 그래서, 우리가 TV를 통해 공중파 방송 등을 시청할 때는 채널과 프로그램이 바뀌어도 음량이 다르다는 불편을 겪지 않습니다. 그러나 OTT, VOD, Music 등 미디어 스트리밍 서비스에 대해서는 아직 별도의 가이드라인이나 규제의 사각지대에 놓여있고, 이는 고스란히 사용자 (시청자)의 불편으로 이어집니다. 이에 최근에는 인터넷 기반 미디어 서비스 (특히 OTT, OVD)에 대하여 미국의 CTA (Consumer Technology Association)나 AES (Audio Engineering Society, 전세계 오디오 엔지니어의 연구회)와 같은 단체에서 라우드니스에 대한 가이드라인을 논의하고 있는 것은 반가운 소식입니다. Youtube, Netflix, Apple Music, Spotify 등 메이저 미디어 스트리밍 서비스들의 경우 자체 규정을 통해 라우드니스 정규화를 실시하여 사용자에게 더 좋은 오디오 경험을 제공하고 있습니다.  한편, 사용자가 동일한 서비스를 모바일(스마트폰)과 TV 등 여러 스크린을 통해 소비하는 현재 환경에서 각 기기에 따라 서로 다른 타깃 라우드니스를 맞춰야하는 것은 미디어 스트리밍 서비스 플랫폼들 입장에서는 새로운 문제이기도 합니다.     FFmpeg을 이용한 라우드니스 정규화 FFmpeg은 다양한 미디어 처리를 제공하는 프레임워크입니다. 커맨드라인 툴을 제공하기 때문에 쉽게 사용할 수 있습니다. FFmpeg에서는 loudnorm 오디오 필터를 제공하여, 라우드니스를 측정하고 이를 기반으로 미디어를 타깃 라우드니스에 맞출  수 있습니다. Loudnorm을 사용하여 라우드니스 정규화를 수행하는 경우 dual mode를 사용하는 것이 좋습니다. Dual mode는 입력된 오디오 신호에 대하여 라우드니스 관련 파라미터 (Integrated Loudness, True Peak, LRA (Loudness Range) 등) 측정하는 1차 프로세스, 이를 다시 오디오 신호와 함께 입력하여 신호의 크기를 순간순간 맞춰나가는 2차 프로세스를 통해 라우드니스를 정규화합니다. FFmpeg을 이용한 라우드니스 정규화 참고자료들: https://d2.naver.com/helloworld/4428266 https://developers.google.com/actions/tools/audio-loudness   FFmpeg을 사용할 때 고려해야하는 이슈 FFmpeg은 쉽게 접근할 수 있는 Open Source Software (OSS)이지만, 이를 실제로 사용하는 데는 몇가지 어려움이 있습니다. 먼저 Transcoding 서버에서 원본을 라우드니스 정규화 처리된 신호로 대체하는 파일 기반 처리 (File-based processing) 이란 점입니다. 이 경우 압축된 원본을 디코딩하고, Loudnorm 필터를 거친 후 다시 인코딩하는 과정을 거치기 때문에 소위 Tandem Coding Artifact (Transcoding 과정을 반복했을 때 발생하는 음질 열화)가 발생합니다. 또한 앞서 언급한 것처럼 TV와 Mobile은 서로 다른 타깃 라우드니스를 갖는 것이 바람직합니다. TV의 경우 방송 표준에 따라 -24 LKFS로 설정하는 것이 바람직하지만, 모바일에서는 지하철과 같은 시끄러운 환경에서도 소리가 잘 들려야하기 때문에 -24 LKFS로는 음량이 부족합니다. (넷플릭스를 사용하는 분이면, 모바일로 들을 때 유튜브나 멜론 같은 다른 앱에 비해 소리가 작다는 것을 쉽게 이해하실 겁니다.) -13~-16 LKFS 정도가 바람직합니다. 따라서 FFmpeg의 Loudnorm을 사용한다면, 각 하나의 영상에 대해 서로 다른 버전의 라우드니스를 갖는 파일을 준비해야합니다. 이는 스토리지, CDN 비용을 증가시킵니다. Loudnorm 필터는 음질 관점에서 최적화되어 있지 않기 때문에 잘못된 라우드니스 제어로 인해 Pumping, Breathing, Noise Boost 같은 음질 왜곡이 발생하게 됩니다. 결과적으로 시청자는 라우드니스 정규화의 댓가로 음질 왜곡을 감수해야하고, 때론 콘텐츠 저작권자가 이와 같은 변형을 금지하기도 합니다. 마지막으로, Loudnorm은 실시간 구현을 위한 최적화 (예를 들어 불필요한 라우드니스 파라미터를 계산)가 되어 있지 않아서, 하루에도 수십만 시간 분량의 콘텐츠를 처리해야하는 미디어 스트리밍 서비스에서 무시못할 처리 비용이 발생하게 됩니다.   Sol Loudness SDK를 이용한 라우드니스 정규화 Sol Loudness SDK는 File-based Process 방식이 아닌 메타데이터 방식을 사용하여 라우드니스 정규화를 수행합니다. 메타데이터 방식은 서버에서 콘텐츠의 라우드니스를 분석하여 매우 작은 크기의 메타데이터 (100 byte 이하)를 생성하고, 플레이어는 이 메타데이터를 받아 설정된 타겟 라우드니스에 맞도록 처리합니다. 따라서 원본 콘텐츠를 그대로 가지고 있기 때문에 Tandem Coding Artifacts가 발생하지 않고, 여러 버전을 서버에 따로 보관하지 않고도 TV와 모바일에서 서로 다른 타겟 라우드니스를 하는 맞출 수 있는 등 여러가지 장점을 갖습니다.  나아가서, 시청자가 직접 타깃 라우드니스를 설정하거나, 주변환경 (시끄러운 지하철과 조용한 밤 시간을 다르게 하는 등)에 따라 자동으로 최적화하는 기능을 제공할 수도 있게 됩니다. Sol Loudness SDK는 메타데이터를 즉시 생성할 수 없는 Live Streaming과 같은 환경에서도 대응하는 기능을 포함하고 있습니다. 이 역시 Loudnorm으로는 해결하기 어려운 경우입니다. 뮤직 스트리밍 서비스 인 경우는 앨범 또는 플레이리스트 단위로 라우드니스를 정규화할 수 있으며, EQ 설정에 따라 라우드니스가 달라지는 문제를 해결하고, 저주파 대역 재생능력이 떨어지는 모바일 빌트인 스피커 환경에도 균일한 음량을 제공하는 기능 등 많은 기능이 포함되어 있습니다.. 음향공학박사 6명이 투입되어 개발한 독자적인 Sol Loudness SDK의 알고리즘은 정규화 과정에서 어떠한 형태의 음질 왜곡도 발생시키지 않기 때문에, 음질이 최우선인 뮤직 스트리밍 서비스에서도 걱정없이 적용 가능합니다.   축적된 신호처리 기술과 SDK 최적화 기술로 연산량을 혁신적으로 개선하여, FFmpeg과 비교할 때 2-5배 빠른 처리 (각 기능별로 다름)가 가능합니다. 그만큼 처리 비용을 절약할 수 있습니다.   Gaudio는 BMT (Benchmark Test)를 환영합니다. 서비스를 고르는데 있어 직접 테스트하여 비교하는 것 보다 정확한 것은 없으며, 이러한 비교는 후보 솔루션을 체험해보기 위한 가장 좋은 방법입니다. 많은 고객들이 겪고 있는 Audio 문제를 해결히기 위해 다른 유사 솔루션과 Sol Loudness SDK를 비교하는 BMT를 수행하고 계십니다. 여력과 시간이 있다면 Sol Loudness SDK와 유사 서비스를 비교 테스트하는 것을 추천드립니다. Gaudio는 BMT 관련 문의를 항상 환영합니다.   Gaudio Lab 은… 가우디오랩(주)는 VR/AR, 스트리밍 미디어, 모바일, 홈 등 소리가 있는 어디에서나 사람들에게 훌륭한 소리 경험을 제공하는 일을 합니다. 인터넷으로 연결된 가상 세계를  더욱 현실처럼 만드는 소리 기술들로 전세계를 누비며, “올해의 최고 VR 혁신 기업상 수상 (VR Awards, 런던, 2017)”, “ISO/IEC MPEG-H 3D Audio 국제표준 채택 (2013, 2018)”으로 혁신적인 오디오 기술력을 인정받았습니다. 음향공학박사 6명을 비롯한 가우디오랩의 오디오 긱들은 실리콘밸리와 서울에 서식하고 있습니다.     

2019.03.05
after-image
라우드니스 101

LOUDNESS 101   1. Loudness란 ?   Loudness란 인간 청각의 지각 정도에 의해 느끼는 소리의 크기를 뜻합니다. 내가 지금 듣고있는 노래의 크기를 주변 사람에게 알려준다고 가정해봅시다! 일단 소리가 크다면 Loudness가 크다고 할 수 있고, 소리가 작다면 Loudness가 작다고 할 수 있습니다. 하지만 주변 사람에게 소리의 크기를 알려준다고 했을때, Loudness에 대한 인지정도가 나와 같으리라는 보장은 없습니다. 주변 사람의 수가 많아질수록 그 보장성은 줄어들기까지 합니다. 이럴 경우 가장 효율적인 방법은 숫자가 도입된 객관적인 지표(단위)를 통해 전달하는 것입니다. 많은 분야에서 필요로했는지, Loudness 단위에 대한 연구는 활발하게 이루어져왔습니다. 그중에서도 브로드캐스팅, 스트리밍과 같은 시장에서 통용되고 실용성높은 단위를 소개하고자합니다. 소개하고자 하는 단위는 LKFS(Loudness K-Weighted relative to Full Scale)이며, LUFS(Loudness Unit relative to Full Scale)로도 불립니다. 이 단위와 관련된 파라미터들은는 ITU-R(International Telecommunication Union – Radiocommunication), EBU-R(European Broadcasting Union)에 의해 고안되었습니다.   2. Loudness 핵심 요소           위의 figure 1.는 Loudness를 측정하는 유틸리티의 인터페이스입니다. 관찰력이 좋다면 두 유틸리티에서 공통적으로 쓰이는 파라미터는 Integrated, Short-Term, Momentary loudness, true peak 그리고 Loudness Range가 있는 것을 확인 할 수 있습니다. (다른 Loudness 측정기를 보시더라도 유사한 파라미터가 쓰일 것입니다) 이번 챕터에서는 각 파라미터가 의미하는 바에 대해서 살펴보도록 하겠습니다.   2-1. 핵심 키워드   LKFS(LUFS) Loudness의 단위 중 하나이며, 인간의 청각 특성에 부합하게 설계된 K-weighting filter를 거친 입력 신호에 대한 크기입니다. K-weighting filter는 인간이 비교적 잘 듣는 주파수영역의 신호를 증가시키고, 비교적 잘 들리지 않는 주파수 영역의 신호를 감소시키는 필터로 이해하시면됩니다. Loudness의 종류에는 측정하는 길이에 따라 Momentary, Short-term, Integrated Loudness로 나뉩니다. Momentary Loudness는 0.4초, Short-term Loudness은 3초, Integrated Loudness는 전체 구간에 대한 소리 크기입니다.   LU(Loudness units) LKFS가 측정되는 자체의 값이라면 LU는 상대적인 측정량입니다. 즉, 기준 레벨 대비하여 얼만큼 차이가 나는지, 혹은 Loudness의 범위를 의미할때 쓰입니다. 예를 들어, 컨텐츠 A가 -12LKFS이고 컨텐츠  B가 -20LKFS이면 A 컨텐츠는 B 컨텐츠보다 +8LU 만큼의 Loudness를 가지고있다로 표현 가능합니다.   Momentary Loudness K-weighting filter를 거친 신호의 0.4초 분량에 해당하는 소리크기이며, 75% 오버랩(0.1초)을 하여 측정합니다. 순간순간의 소리크기로 이해하면 됩니다.     위 그림과 같이 측정한 결과를 히스토그램화 하여 누적하면 아래 그림과 같습니다.     Momentary Loudness의 히스토그램은 추후 Integrated Loudness를 계산할때 활용됩니다.   Short-term Loudness K-weighting filter를 거친 신호의 3초 분량에 해당하는 소리크기이며, EBU에서는  최소 0.1s 간격으로 갱신 할 것을 권장하고있습니다.   Short-term Loudness의 히스토그램은 추후 Loudness Range를 계산할때 활용됩니다.   Integrated Loudness 전체 구간에서 들리는 소리 크기의 평균이다. 컨텐츠 전반적인 소리 크기를 의미합니다. 구하는 방식은 다음과 같습니다. Step1) -70LKFS 이하의 momentary loudness 분포값들을 제거한 후, 나머지 분포값들의 평균을 구합니다.     Step2) step1에서 구한 평균보다 10LU만큼 작은게 relative threshold입니다.     step3) relative threshold보다 높은 분포값들의 평균이 integrated loudness입니다.       LRA(Loudness Range) 전체 구간에서의 Loudness의 범위입니다. 즉, 소리크기가 어느정도로  분포하고 있는지 알 수 있는 지표입니다. 구하는 방식은 다음과 같습니다. Step1)  -70LKFS 이하의 short-term loudness 분포값들을 제거한 후, 나머지 분포값들의 평균보다 20LU 작은 값(relative threshold)을 구합니다.     Step2) relative threshold를 넘는 분포값들 중 하위 10%와 상위 5%의 범위가 Loudness Range입니다.       True-peak 192kHz 샘플링 주파수로 변환하였을때의 피크값이며 단위는 dBTP입니다.  재생환경 중에서 충분히 높은 샘플링 주파수(192kHz)일때 열화를 방지하기 위한 값으로 이해하면 됩니다. 일반적으로 소비되는 음원의 샘플링 주파수는 44.1, 48kHz이기때문에 업샘플링을 하는게 일반적인데, 이때 기존의 sample peak 값보다 커질 수 있습니다. 업샘플링에 대한 예시입니다.     중축이 되는 업샘플링 기법 외에도 표현 범위를 넘어가는걸 방지하기 위한 attenuation, upsampling 이후에 유효한 신호들만 남기기위한 필터링, 데시벨 단위로 환산하기 위한 로그화 등이 진행됩니다. 아래 block diagram은 샘플링 주파수가 48kHz일때 true-peak를 구하는 일련의 과정입니다.     2-2. 라우드니스 감 익히기   3. 그 외   3-1. 왜 하필 LKFS(LUFS)인가요?Z   기존에는 RMS(Root-mean-square)를 활용하여 Loudness를 측정했지만 실제 인간의 청각 능력과는 매칭이 잘 안됐습니다. 이후 ITU, EBU에서 K-weighting 필터를 활용하여 인간의 청각 능력을 반영하고, 크기를 구하는 과정에서 보았듯이 소리크기를 느끼는데 있어 영향력이 없는 부분에 대한 열외처리를 하는 등 보다 정교한 방법으로 Loudness를 계산합니다. 다른 단위보다 정교하기때문에 대세로 자리잡지않았나 싶네요!   3-2. 각종 플랫폼의 Loudness 규제 및 권장 현황   (https://www.masteringthemix.com 발췌)   3-3. Loudness War에 관한 사견   Loudness와 관련된 이슈를 하나 말씀드리려합니다. 다들 아실수도 있는 ‘Loudness War’입니다. 제 마음대로 요약을 하면 컨텐츠 제작자가 “다른 창작물보다 나의 창작물의 소리를 더 크게 함으로써 청취자들로부터 하여금 더 주목받을 것이다. 보너스로 음질이 더 좋아진것처럼 청취자의 착각을 불러일으킬 것이다.“와 같은 마인드로 컨텐츠를 생산하는 것입니다. 혹은 “다른 창작물보다 나의 창작물의 소리를 더 키우진 않겠지만 차이가 크게 나지않도록 만들것이다.“와 같은 마인드도 될 수 있겠네요. 소리가 커지면 음질이 개선된다고 생각이 될지 모르겠지만, 실제로는 Dynamic이 좁아 표현력도 떨어지고, 클리핑 발생의 빈도가 높아져 음질 열화 확률은 더 높아집니다.  소리를 과하게 키우면 음원의 질 자체는 오히려 떨어진다는 것을 많은 소비자가 인지하여 소비의 패턴이 바뀌기를 희망합니다.   3-4. LKFS? LUFS?   Loudness의 단위를 최초 고안한것은 ITU에서하고 단위를 LKFS로 정의하였습니다. 이후 디스플레이 방식이나 Momentary, Short-term, Integrated Loudness, LRA 등의 용어와 디스플레이 방식 등을 정의 한것은 EBU에서 고안하면서 LUFS로 명칭을 변경하였지요. 따라서 북미권에서는 LKFS를 쓰고, 유럽권에서는 LUFS를 쓰는 경향을 보이네요. ((이 글은 상기 표준에서 내포한 철학을 필자 나름의 핵심 요소를 추린것이기에 보다 자세하고 깊은 내용을 원하시면 ITU-R BS.1770-4, EBU-R Tech 3341,3342를 정독하는 것을 권장합니다.))   Gaudio Lab 은… 가우디오랩(주)은 VR/AR, 스트리밍 미디어, 모바일, 홈 등 소리가 있는 어디에서나 사람들에게 훌륭한 소리 경험을 제공하는 일을 합니다. 가상세계를  더욱 현실처럼 만드는 소리, 현실을 넘어 초현실적인 소리를 만드는 혁신적인 기술들로 전세계를 누비며 활약하는 국가대표 오디오 공학집단입니다. “올해의 최고 VR 혁신 기업상 수상(VR Awards, 런던, 2017)“, “ISO/IEC MPEG-H 3D Audio 국제표준 채택 (2013, 2018)“으로 혁신성을 인정받은 6인의 음향공학박사와 오디오 Geek들은 실리콘밸리와 서울에 있습니다. The Science of Sound.      

2019.05.08