뒤로가기back

라우드니스 101

2019.05.08 by Gaudio Lab

LOUDNESS 101

 

1. Loudness란 ?

 

Loudness란 인간 청각의 지각 정도에 의해 느끼는 소리의 크기를 뜻합니다. 내가 지금 듣고있는 노래의 크기를 주변 사람에게 알려준다고 가정해봅시다! 일단 소리가 크다면 Loudness가 크다고 할 수 있고, 소리가 작다면 Loudness가 작다고 할 수 있습니다. 하지만 주변 사람에게 소리의 크기를 알려준다고 했을때, Loudness에 대한 인지정도가 나와 같으리라는 보장은 없습니다. 주변 사람의 수가 많아질수록 그 보장성은 줄어들기까지 합니다. 이럴 경우 가장 효율적인 방법은 숫자가 도입된 객관적인 지표(단위)를 통해 전달하는 것입니다. 많은 분야에서 필요로했는지, Loudness 단위에 대한 연구는 활발하게 이루어져왔습니다. 그중에서도 브로드캐스팅, 스트리밍과 같은 시장에서 통용되고 실용성높은 단위를 소개하고자합니다.

소개하고자 하는 단위는 LKFS(Loudness K-Weighted relative to Full Scale)이며, LUFS(Loudness Unit relative to Full Scale)로도 불립니다. 이 단위와 관련된 파라미터들은는 ITU-R(International Telecommunication Union – Radiocommunication), EBU-R(European Broadcasting Union)에 의해 고안되었습니다.

 

2. Loudness 핵심 요소

 
 
 
 
 

위의 figure 1.는 Loudness를 측정하는 유틸리티의 인터페이스입니다. 관찰력이 좋다면 두 유틸리티에서 공통적으로 쓰이는 파라미터는 Integrated, Short-Term, Momentary loudness, true peak 그리고 Loudness Range가 있는 것을 확인 할 수 있습니다. (다른 Loudness 측정기를 보시더라도 유사한 파라미터가 쓰일 것입니다) 이번 챕터에서는 각 파라미터가 의미하는 바에 대해서 살펴보도록 하겠습니다.

 

2-1. 핵심 키워드

 

  • LKFS(LUFS)

Loudness의 단위 중 하나이며, 인간의 청각 특성에 부합하게 설계된 K-weighting filter를 거친 입력 신호에 대한 크기입니다. K-weighting filter는 인간이 비교적 잘 듣는 주파수영역의 신호를 증가시키고, 비교적 잘 들리지 않는 주파수 영역의 신호를 감소시키는 필터로 이해하시면됩니다. Loudness의 종류에는 측정하는 길이에 따라 Momentary, Short-term, Integrated Loudness로 나뉩니다. Momentary Loudness는 0.4초, Short-term Loudness은 3초, Integrated Loudness는 전체 구간에 대한 소리 크기입니다.

 

  • LU(Loudness units)

LKFS가 측정되는 자체의 값이라면 LU는 상대적인 측정량입니다. 즉, 기준 레벨 대비하여 얼만큼 차이가 나는지, 혹은 Loudness의 범위를 의미할때 쓰입니다. 예를 들어, 컨텐츠 A가 -12LKFS이고 컨텐츠  B가 -20LKFS이면 A 컨텐츠는 B 컨텐츠보다 +8LU 만큼의 Loudness를 가지고있다로 표현 가능합니다.

 

  • Momentary Loudness

K-weighting filter를 거친 신호의 0.4초 분량에 해당하는 소리크기이며, 75% 오버랩(0.1초)을 하여 측정합니다. 순간순간의 소리크기로 이해하면 됩니다.

 

 

위 그림과 같이 측정한 결과를 히스토그램화 하여 누적하면 아래 그림과 같습니다.

 

 

Momentary Loudness의 히스토그램은 추후 Integrated Loudness를 계산할때 활용됩니다.

 

  • Short-term Loudness

K-weighting filter를 거친 신호의 3초 분량에 해당하는 소리크기이며, EBU에서는  최소 0.1s 간격으로 갱신 할 것을 권장하고있습니다.

 

가우디오랩
Short-term Loudness의 히스토그램은 추후 Loudness Range를 계산할때 활용됩니다.
 
  • Integrated Loudness

전체 구간에서 들리는 소리 크기의 평균이다. 컨텐츠 전반적인 소리 크기를 의미합니다. 구하는 방식은 다음과 같습니다.

Step1) -70LKFS 이하의 momentary loudness 분포값들을 제거한 후, 나머지 분포값들의 평균을 구합니다.

 
 
Step2) step1에서 구한 평균보다 10LU만큼 작은게 relative threshold입니다.
 
 
step3) relative threshold보다 높은 분포값들의 평균이 integrated loudness입니다.
 
 
가우디오랩
 
  • LRA(Loudness Range)

전체 구간에서의 Loudness의 범위입니다. 즉, 소리크기가 어느정도로  분포하고 있는지 알 수 있는 지표입니다. 구하는 방식은 다음과 같습니다.

Step1)  -70LKFS 이하의 short-term loudness 분포값들을 제거한 후, 나머지 분포값들의 평균보다 20LU 작은 값(relative threshold)을 구합니다.

 

 

Step2) relative threshold를 넘는 분포값들 중 하위 10%와 상위 5%의 범위가 Loudness Range입니다.
 
 
가우디오랩
 
  • True-peak

192kHz 샘플링 주파수로 변환하였을때의 피크값이며 단위는 dBTP입니다.  재생환경 중에서 충분히 높은 샘플링 주파수(192kHz)일때 열화를 방지하기 위한 값으로 이해하면 됩니다. 일반적으로 소비되는 음원의 샘플링 주파수는 44.1, 48kHz이기때문에 업샘플링을 하는게 일반적인데, 이때 기존의 sample peak 값보다 커질 수 있습니다. 업샘플링에 대한 예시입니다.

 

 

중축이 되는 업샘플링 기법 외에도 표현 범위를 넘어가는걸 방지하기 위한 attenuation, upsampling 이후에 유효한 신호들만 남기기위한 필터링, 데시벨 단위로 환산하기 위한 로그화 등이 진행됩니다. 아래 block diagram은 샘플링 주파수가 48kHz일때 true-peak를 구하는 일련의 과정입니다.

 

가우디오랩
 

2-2. 라우드니스 감 익히기

 

3. 그 외

 

3-1. 왜 하필 LKFS(LUFS)인가요?Z

 

기존에는 RMS(Root-mean-square)를 활용하여 Loudness를 측정했지만 실제 인간의 청각 능력과는 매칭이 잘 안됐습니다. 이후 ITU, EBU에서 K-weighting 필터를 활용하여 인간의 청각 능력을 반영하고, 크기를 구하는 과정에서 보았듯이 소리크기를 느끼는데 있어 영향력이 없는 부분에 대한 열외처리를 하는 등 보다 정교한 방법으로 Loudness를 계산합니다. 다른 단위보다 정교하기때문에 대세로 자리잡지않았나 싶네요!

 

3-2. 각종 플랫폼의 Loudness 규제 및 권장 현황

 

(https://www.masteringthemix.com 발췌)

 

3-3. Loudness War에 관한 사견

 

Loudness와 관련된 이슈를 하나 말씀드리려합니다. 다들 아실수도 있는 ‘Loudness War’입니다. 제 마음대로 요약을 하면 컨텐츠 제작자가 “다른 창작물보다 나의 창작물의 소리를 더 크게 함으로써 청취자들로부터 하여금 더 주목받을 것이다. 보너스로 음질이 더 좋아진것처럼 청취자의 착각을 불러일으킬 것이다.“와 같은 마인드로 컨텐츠를 생산하는 것입니다. 혹은 “다른 창작물보다 나의 창작물의 소리를 더 키우진 않겠지만 차이가 크게 나지않도록 만들것이다.“와 같은 마인드도 될 수 있겠네요.

소리가 커지면 음질이 개선된다고 생각이 될지 모르겠지만, 실제로는 Dynamic이 좁아 표현력도 떨어지고, 클리핑 발생의 빈도가 높아져 음질 열화 확률은 더 높아집니다.  소리를 과하게 키우면 음원의 질 자체는 오히려 떨어진다는 것을 많은 소비자가 인지하여 소비의 패턴이 바뀌기를 희망합니다.

 

3-4. LKFS? LUFS?

 

Loudness의 단위를 최초 고안한것은 ITU에서하고 단위를 LKFS로 정의하였습니다. 이후 디스플레이 방식이나 Momentary, Short-term, Integrated Loudness, LRA 등의 용어와 디스플레이 방식 등을 정의 한것은 EBU에서 고안하면서 LUFS로 명칭을 변경하였지요. 따라서 북미권에서는 LKFS를 쓰고, 유럽권에서는 LUFS를 쓰는 경향을 보이네요.

((이 글은 상기 표준에서 내포한 철학을 필자 나름의 핵심 요소를 추린것이기에 보다 자세하고 깊은 내용을 원하시면 ITU-R BS.1770-4, EBU-R Tech 3341,3342를 정독하는 것을 권장합니다.))

 

Gaudio Lab 은…

가우디오랩(주)은 VR/AR, 스트리밍 미디어, 모바일, 홈 등 소리가 있는 어디에서나 사람들에게 훌륭한 소리 경험을 제공하는 일을 합니다. 가상세계를  더욱 현실처럼 만드는 소리, 현실을 넘어 초현실적인 소리를 만드는 혁신적인 기술들로 전세계를 누비며 활약하는 국가대표 오디오 공학집단입니다. “올해의 최고 VR 혁신 기업상 수상(VR Awards, 런던, 2017)“, “ISO/IEC MPEG-H 3D Audio 국제표준 채택 (2013, 2018)“으로 혁신성을 인정받은 6인의 음향공학박사와 오디오 Geek들은 실리콘밸리와 서울에 있습니다. The Science of Sound.

 
 
 
pre-image
AES Dublin 2019 프리뷰

AES (Audio Engineering Society) Convention 은 매년 봄과 가을에 열리는 오디오 업계의 가장 크고 오래된 역사를 가진 전시+학회 입니다. 봄에는 유럽 (영국포함)에서 가을에는 미국 (주로 New York)에서 열립니다. 미국에서 열리는 경우 전시회가 행사의 스케일을 키워주는 반면, 유럽에서 진행하는 봄 컨벤션의 전시회는 깜짝 놀랄 만큼 작고 (동네 바자회 아냐?), 대신 제출된 논문들과 회의장의 디스커션은 깊이가 조금 더 있는 느낌도 듭니다.   이번 제146차 AES Convention은 2019.3.20-23, 더블린 (아일랜드)에서 열립니다. 프로그램 미리보기로 더블린에 마음을 띄워보내봅니다.     4일간에 걸친 Paper Session (Engineering Brief 포함)의 세션 제목들만 보아도 현재 학계의 유행 트렌드를 볼 수 있습니다. 예를들어 VR의 바람이 거세던 2015년부터 직전 AES까지는 (Spatial Audio 세션과는 별개로) Binaural Audio 만 따로 모은 세션이 2-3개씩 될 만큼 (논문 편수로는 ~20여개) 때아닌 열풍이 불었었죠. 가우디오랩도 키노트 발표를 하는 등 유행을 거들었던 바 있구요. 이번 AES에서는 바이노럴 바람이 좀 잠잠해진 기미가 보이네요. 총 22개의 Paper Session 가운데 Spatial Audio는 딱 차례 있습니다. 물론 HRTF, Ambisonics, 3D Audio 등 관련 논문들이 여기 저기 다른 세션에 포함되어 있기는 하구요. 그리고, 쉽게 예상할 수 있듯, Machine Learning 태풍은 AES도 그대로 투영되어 독립 세션이 2개나 등장하였습니다. 아직까지 Audio Machine Learning은 음성이나 영상에 비하면 상당히 미개척된 분야라고들 하지요.   AES Convention에는 Paper Session 이외에 조금 더 간단한(?) 실험결과나 유용한 정보를 담은 Engineering Brief 세션들이 따로 있고 (경우에 따라 정규 논문과 별 구별이 없습니다), Tutorials와 Workshop들도 4일 내내 꽉꽉 담아 동시에 진행되어서 현장에 도착하면, AES 전통의 가이드북 (사진)을 들고 이방 저방 찾아다니며 뭘 들어야 하나 선택장애 상황에 놓이곤 하죠.   이번 AES Dublin에서 관심 가는 논문들을 몇 개 픽 (Pick) 합니다. (가우디오랩의 주관심분야에 한정된 선택이니 그 여부가 본 AES의 대표 자격을 의미하진 않습니다 ^^)     Convention Paper P15-2 Turning the DAW Inside Out—Charles Holbrow, Massachusetts Institute of Technology – Cambridge, MA, USA; MIT Media Lab “Turning the DAW Inside Out” describes a speculative, internet-enabled sound recording and music production technology. The internet changed music authorship, ownership, and distribution. We expect connected digital technologies to continue to affect the processes by which music is created and consumed. Our goal is to explore an optimistic future wherein musicians, audio engineers, software developers, and music fans all benefit from an open ecosystem of connected digital services. In the process we review a range of existing tools for internet enabled audio and audio production and consider how they can grow to support a new generation of music creation technology.   Convention Paper 10183 요즘 스트리밍 미디어로서 음악 및 오디오 서비스가 어떻게 진화할 지에 관심이 높은데, 제목과 요약이 호기심을 끌었네요. 그런데, 요약이 너무 거창해서 실속 없는 총론뿐일까 하는 의문도 드네요. 뮤지션, 오디오 엔지니어, 소프트웨어 개발자, 음악 팬이 모두 베네핏을 얻을 수 있는 오픈 에코시스템이라… too good to be true?   P20-2 Automatic Detection of Audio Problems for Quality Control in Digital Music Distribution—Pablo Alonso-Jiménez, Universitat Pompeu Fabra – Barcelona, Spain; Luis Joglar-Ongay, SonoSuite – Barcelona, Spain; Xavier Serra, Universitat Pompeu Fabra – Barcelona, Spain; Dmitry Bogdanov, Universitat Pompeu Fabra – Barcelona, Spain   Providing contents within the industry quality standards is crucial for digital music distribution companies. For this reason an excellent quality control (QC) support is paramount to ensure that the music does not contain audio defects. Manual QC is a very effective and widely used method, but it is very time and resources consuming. Therefore, automation is needed in order to develop an efficient and scalable QC service. In this paper we outline the main needs to solve together with the implementation of digital signal processing algorithms and perceptual heuristics to improve the QC workflow. The algorithms are validated on a large music collection of more than 300,000 tracks.   우린 별 생각 없이 음악스트리밍 서비스를 접하고 있지만, 스포티파이는 6천만곡, 한국의 벅스는 2천만곡이 넘는 노래를 보유하고 있고, 매일 수천에서 수만곡이 새로 추가되고 있다고 하더군요. 그런데, 그 많은 곡들을 들어보고 서비스할까? 19금 가사는 없는지, 음질은 안깨졌는지, … QC (Quality Control) 을 어떻게 해결할까 호기심가는 주제였는데, 여기 그 고민을 하고 솔루션을 제시한 곳이 있네요. 설명으론 요즘 유행하는 기계 + 사람 워크플로를 제안하는 것 같네요…     P17-4 Detecting Road Surface Wetness Using Microphones and Convolutional Neural Networks—Giovani Pepe, Universitá Politecnica delle Marche – Ancona, Italy; ASK Industries S.p.A. – Montecavolo di Quattro Castella (RE), Italy; Leonardo Gabrielli, Universitá Politecnica delle Marche – Ancona, Italy; Livio Ambrosini, Universita Politecnica delle Marche – Ancona, Italy; ASK Industries S.p.A. – Montecavolo di Quattro Castella (RE), Italy; Stefano Squartini, Università Politecnica delle Marche – Ancona, Italy; Luca Cattani, Ask Industries S.p.A. – Montecavolo di Quattrocastella (RE), Italy   The automatic detection of road conditions in next-generation vehicles is an important task that is getting increasing interest from the research community. Its main applications concern driver safety, autonomous vehicles, and in-car audio equalization. These applications rely on sensors that must be deployed following a trade-off between installation and maintenance costs and effectiveness. In this paper we tackle road surface wetness classification using microphones and comparing convolutional neural networks (CNN) with bi-directional long-short term memory networks (BLSTM) following previous motivating works. We introduce a new dataset to assess the role of different tire types and discuss the deployment of the microphones. We find a solution that is immune to water and sufficiently robust to in-cabin interference and tire type changes. Classification results with the recorded dataset reach a 95% F-score and a 97% F-score using the CNN and BLSTM methods, respectively.   Convention Paper 10193 자율주행 자동차를 위해 마이크 신호로 노면이 젖었는지를 판별하겠다고 합니다. 대표적 머신러닝 기법인 CNN을 이용해서요.. 타이어에 따라 달라지는 특성도 고려한다고 하는데, 자율주행의 완벽성을 위해 하나 더 센싱에 말이 안되는 얘기는 아닌 것 같습니다.   P05-6 ANC System Using Secondary Path Modeling Based on Driver’s Position in Vehicle—Seyeong Jang, Hyundai Mobis – Seoul, Korea; Jongin Jung, Hyundai Mobis – Seoul, Korea; Hyungsub Lim, Hyundai Mobis – Seoul, Korea   In this paper we propose a study of active noise control systems using the concept of Secondary Path modeling based on driver position in the vehicle. The system obtains estimates of the Secondary Path within range of occupant location and applies them to the ANC system to compensate for change depending on the driver’s position. We used the Offline Secondary Path modeling method and FxLMS algorithm in ANC System. Under assumption of detecting a change in position, the secondary path model is applied according to the occupant position and used as initial value of the ANC system. Therefore, ANC performance is better than a system that does not consider existing changing Secondary Path.   Convention Paper 10149 한국분들 (모비스)이 저자인 논문이라 일단 픽.했습니다. ANC (Active Noise Canceling). 노이즈캔슬링 헤드폰의 그 ANC입니다. 차량 실내 혹은 엔진 배기통을 ANC로 해결해보고자 하는 시도는 1990년대에도 한참 연구가 되었을만큼 오래된 분야입니다. 운전석의 소음을 줄이기 위해 ANC의 대표 접근방법이랄 수 있는 Filtered-X LMS (FxLMS) 를 2차 path를 추가하여 개선하는 방법을 다루고 있는 것 같네요.   P14-2 B-Format Decoding Based on Adaptive Beamforming—Alexis Favrot, Illusonic GmbH – Uster, Switzerland; Christof Faller, Illusonic GmbH – Uster, Zürich, Switzerland; EPFL – Lausanne, Switzerland   B-Format signals can be decoded into signals with first order directivity. For stereo and multichannel decoding it would be desirable to have more channel separation than what is achievable by first order. DirAC (directional audio coding) and HARPEX (high resolution plane wave expansion) achieve higher channel separation by means of using a parametric B-Format model to estimate plane waves and diffuse sound, and adaptively rendering those. A limitation is that plane wave and diffuse models are too simple to represent complex B-Format signals. We propose a B-Format decoder, where each channel is generated by an independent adaptive B-Format beamformer. Each beam is generated independently of the other beams, circumventing the limitation when using a single B-Format signal model.   Convention Paper 10180 가우디오랩과 Illusonic GmbH (스위스 소재의 오디오 기술회사입니다) 15년이 넘는 우정을 나누는 친구회사입니다. 올해도 거르지 않고 논문이 나왔네요. 훈남청년 (이젠 중년?) Alexis가 B-format (Ambisonics) 신호로부터 Adaptive Beamforming 기술을 이용해서 다채널 (e.g. 5.1채널) 오디오 신호를 잘 만들어냈다는 내용을 쓴 것 같습니다.   EB01-4 Consideration on the Design of Multi-Zone Control System in a Vehicle Cabin—Wan-Ho Cho, Korea Research Institute of Standards and Science (KRISS) – Daejeon, Korea, Republic of; Ji-Ho Chang, Korea Research Institute of Standards and Science (KRISS) – Daejeon, Korea   The personal audio system to generate different sound conditions for each seat in a vehicle cabin is the representative application of multi-zone sound field control. Here, the effectiveness validation of source positions and the robustness of estimated solutions are investigated for the design of a multi-zone control system in a vehicle cabin. To quantify the efficiency of source position, the linear independency test of transfer matrix between the candidate positions of sources and listener is conducted, and an efficient position is selected by the quantified value estimated by the effective independence method. The dummy head source system is applied to measure the transfer matrix efficiently. With the properly selected source positions, it is observed that the control performance is prominent and robust.   Engineering Brief 494 역시 한국저자분들이라 일단 픽 ^^. 한국표준과학연구원 (KRISS)에서 차량내 Personal Audio System (위치별로 사운드존을 형성) 관련한 연구 내용을 공유했네요. 소스 (음원이겠죠?)의 위치에 따라 성능이 달라지는 것을 확인했다는 내용인 것 같습니다…   EB04-1 A Study in Machine Learning Applications for Sound Source Localization with Regards to Distance—Hugh O’Dwyer, Trinity College – Dublin, Ireland; Sebastian Csadi, Trinity College Dublin – Dublin, Ireland; Enda Bates, Trinity College Dublin – Dublin, Ireland; Francis M. Boland, Trinity College Dublin – Dublin, Ireland   This engineering brief outlines how Machine Learning (ML) can be used to estimate objective sound source distance by examining both the temporal and spectral content of binaural signals. A simple ML algorithm is presented that is capable of predicting source distance to within half a meter in a previously unseen environment. This algorithm is trained using a selection of features extracted from synthesized binaural speech. This enables us to determine which of a selection of cues can be best used to predict sound source distance in binaural audio. The research presented can be seen not only as an exercise in ML but also as a means of investigating how binaural hearing works.   Engineering Brief 509 더블린에서 열리니 더블린 논문이 많아지는건 당연한거고. 유행하는 머신러닝과도 만났네요. 머신러닝 기법을 이용하여 바이노럴 신호 (레코딩? 합성?)로부터 음원의 거리를 추정하는 연구라네요. 50cm 이내의 음원에 대해 거리를 알아내는데 그 과정에서 거리에 영향을 주는 binaural hearing에 무엇이 있는지 덤으로 얻을 수 있다는군요. 제시된 요약만으로 왜 이 연구를 했는지 명확해보이진 않고, 따라서 50cm 이내라는 제약이 실험의 한계인지, 응용 시나리오가 그렇기 때문인지도 불명확하네요.   EB06-1 The Effect of HRTF Individualization and Head-Tracking on Localization and Source Wdith Perception in VR—Hengwei Su, Tokyo University of the Arts – Tokyo, Japan; Atsushi Marui, Tokyo University of the Arts – Tokyo, Japan; Toru Kamekawa, Tokyo University of the Arts – Adachi-ku, Tokyo, Japan   In this study the effects of head-tracking and HRTF individualization by subjective selection on localization and width perception of widen-processed sources in VR were investigated. Localization test and the perceived width evaluation were conducted under conditions with or without head-tracking and using individualized or non-individual HRTF. For the perceived width evaluation, monophonic signals were processed by a method proposed in previous studies, which aimed to create spatial extent for sound objects in the binaural synthesis. According to the results, head-tracking not only was effective to improve localization accuracies in localization test, but also could help synthesized source widths to be localized more accurately. No difference in perceived width was found under different conditions.   Engineering Brief 520 유행하던 바이노럴 / HRTF 연구의 연장선으로, 헤드트래킹과 HRTF 개인화 (각 개인에 따라 맞춘 HRTF 사용)가 localization (음원의 공간 위치 정확도)과 source width (음원의 크기)에 미치는 영향을 분석한 논문 (Brief)입니다. 맞게 해석한 것이라면, 헤드트레킹은 localization과 width 정확성에 모두 도움이 되지만 개인화는 영향이 없다는 것 같군요.    Tutorials 이번 AES Convention에서 제목만으로 관심을 끌만한 Workshop을 발견하진 못했습니다. Tutorials 중에서는 다음의 2개를 꼽았는데요.. T19 – Practical Deep Learning Introduction for Audio Processing Engineers Presenter: Gabriele Bunkheila, MathWorks – Madrid, Spain   Are you an audio engineer working on product development or DSP algorithms and willing to integrate AI capabilities within your projects? In this session we will walk through a simple Deep Learning example for speech classification. We will use MATLAB code and a speech command dataset made available by Google. We will cover creating and accessing labeled data, using time-frequency transformations, extracting features, designing and training deep neural network architectures, and testing prototypes on real-time audio. We will also discuss working with other popular Deep Learning tools, including exploiting available pre-trained networks.   신호처리 연구자들의 비빌언덕 매틀랩에서도 머신러닝 툴셋을 제공하고 있는데요, 그 툴들을 오디오 엔지니어들이 활용할 수 있도록 소개하는 자리인 것 같습니다.   T26 – Sound for Extreme 360° Productions Presenter: Martin Rieger, VRTONUNG – Munich, Germany The workshop shows various examples of 360-degree video productions under challenging conditions, featuring location recordings and post-production. The purpose of the talk is to give practical insights of immersive VR-videos and how sound on vision needs to be contemplated, which varies a lot from usual film formats and requires a lot of knowledge additional to audio as such. Different technologies and sometimes even custom solutions are needed on set and in post. There is no use for a boom microphone and its operator, which gets replaced by an immersive microphone array which there is, just like for 360° cameras, no perfect setup for every occasion as people tend to claim that there is.   가우디오랩의 VR360 저작툴인 Works를 사용하는 고갱님이기도 한데요, 익스트림 환경 (이 어떤 예들을 말하나는 모르겠네요)에서 VR video에 적합한 오디오 취득, 편집 기법을 연구한 내용을 소개하려는 것 같습니다.  VR이 활성화되는데 시간이 걸리는 이유의 첫번째는 디바이스 확산 속도이겠지만, 콘텐츠를 제작하는 비용도 또다른 원인중에 하나이지요. Works는 그 문제를 해결하기 위해 등장했던 툴이기도 했구요…  이상으로 2019년 봄 AES Convention, Dublin 을 프리뷰해보았습니다. 이제 비행기 예약을 고민할 때?   Gaudio Lab 은… 가우디오랩(주)는 VR/AR, 스트리밍 미디어, 모바일, 홈 등 소리가 있는 어디에서나 사람들에게 훌륭한 소리 경험을 제공하는 일을 합니다. 인터넷으로 연결된 가상 세계를  더욱 현실처럼 만드는 소리 기술들로 전세계를 누비며, “올해의 최고 VR 혁신 기업상 수상 (VR Awards, 런던, 2017)”, “ISO/IEC MPEG-H 3D Audio 국제표준 채택 (2013, 2018)”으로 혁신적인 오디오 기술력을 인정받았습니다. 음향공학박사 6명을 비롯한 가우디오랩의 오디오 긱들은 실리콘밸리와 서울에 서식하고 있습니다.     

2019.03.05
after-image
Mobile AR in Unity Part 1: AR

Mobile AR in Unity Part 1: AR 소개 최근 유니티로 AR 앱 개발을 마음 먹은 개발자라면 여러가지 개념들이 혼비한 상황 속에서 어떻게 시작해야 할 지 막막할 것 같아요. 왜냐하면 제가 그랬거든요. 특히 ARFoundation, ARCore, ARKit, AR Session, SceneKit, Point Cloud, Plane Detection 등 생소한 개념들을 모르는 상태라면, 더 당황스러울 거에요. 새로 나온 개념들은 자료가 부족하고, 이미 있는 기능들은 단위별로는 잘 설명해 두었지만, 큰 그림에서 서로 어떻게 엮여 있는지는 설명한 자료가 없어서 혼란스러울 거에요. 이러한 순서로 글을 적어보려고 합니다. 복잡한 개념들을 정리하고,  머리 속에 넣어 두어야 하는 개념모형을 간단히 설명해 주면서,  더 나아가 유니티에서 어떻게 AR을 구현할 수 있는지 설명 다들 제가 겪었던 삽질을 반복하지 마세요. 😇   AR   AR은 Digital Virtual World와 Real World를 연결한 World 라고 이해하시면 됩니다. 좀더 기억하기 쉽게 정리하면, AR World = Digital Virtual World + Real World AR기술의 범위는 꽤나 넓어서 다양한 응용분야가 있어요. 예로 들어, 어떤 스토어에 들어가는 순간 모바일 디바이스에서 GPS를 통해 위치를 검색해서 그 스토어에 들어간 것임을 확인하고 관련된 정보를 띄어주는 것 또한 현실과 디지털세계를 연결한 AR응용사례라고 볼 수 있겠죠.   Mobile AR: SLAM   그런데, 이 포스팅에서 집중하는 AR 응용 분야는 Mobile AR로 아래와 같이 크게 두 가지 핵심기술을 기반으로 하고 있어요.   현실세계에서의 디바이스 현재 위치를 추적하는 것 > Visual Inertial Odometry 현실사물을 인식하는 것 > Image Feature Analysis (Plane Detection, Object Detection 등등)   이렇게 VIO를 통해서 위치추정을 수행함과 동시에 사물 스캔을 통해서 가상의 맵을 그려내는 기술을 SLAM(Simultaneous localization and mapping)이라고 한다네요. 그러면 이제 이 2가지 핵심기술에 대한 개념을 정리해 볼게요.   Visual Inertial Odometry Visual Inertial Odometry는 직역하면 시각적 관성 거리계로, Visual Odometry와 관성측정장치인 Inertial Measurement Unit(이하 IMU)의 합성어에요.        Visual Inertial Odometry = IMU + Visual Odometry    각각의 기술 개념을 정리하면 아래와 같아요.   IMU IMU는 accelerometer와 gyro의 조합을 통해서 대상이 받고 있는 힘과 가속 등을 체크하는 전자기기에요. IMU를 통해 현재 디바이스의 Motion 정보를 얻어낼 수 있죠. 그런데 IMU만 이용할 경우에는 갑작스런 움직임을 정확히 반영하지 못하는 기술적 한계점이 있었고, 그 한계를 보완하기 위해 소프트웨어적으로 이미지를 분석하고 이에 기반해 디바이스의 위치를 좀 더 정확하게 보정해 주는 Computer Vision 기술이 들어가는 것이에요. 그리고 그것이 바로 Visual Odometry입니다.   Visual Odometry “Visual Odometry는 카메라 이미지를 분석해서 디바이스의 Pose(=Position & Rotation)을 정의하는 프로세스를 말하는데, 로보틱스와 컴퓨터 비젼에서 다루고 있는 분야” (출처: wikipedia)   즉, VIO의 개념을 정리하면,디바이스의 모션 센서 그리고 카메라 이미지를 분석을 통해 디바이스의 현재 위치와 회전값을 측정하는 기술이에요. 이 기술을 통해 카메라가 현실 세계의 origin(0, 0, 0)을 기준으로 어디에 위치해 있는지 그리고 어떤 곳을 바라바고 있는지를 디지털 3D 세계에 표현할 수 있게 되는 거에요. 그렇다면 카메라의 위치정보 말고 ‘평면감지‘, ‘오브젝트 감지’ 등의 정보는 어떻게 얻을까요?이를 위해서 Image Feature Analysis기술이 들어갑니다.   Image Feature Analysis AR에서 2D카메라 이미지를 분석해서 현실의 3D 사물을 인지하는 방법은 우리가 두 눈을 이용해서 공간감을 인지하는 방법과 다르지 않다고 합니다. 어떤 책상의 한 점을 북쪽에서 봤다고 하면, 약 10cm 정도 옆으로 가서 봐도 그 점이 보인다면, 그 점은 특징점이고 이미지 간 같은 두 특징점의 삼각법을 통해 거리를 분석해 냅니다.   여기서 특징점이라는 말은 Interesting Point라고 생각해도 무방합니다. 도메인의 목적에 따라 특징을 정의하는 방식이 다른 굉장히 추상적인 개념이에요. Mobile AR 도메인에서 특징점(흥미를 갖고 있는 점)은 다른 각도에서도 발견되는 같은 점들입니다.(참고로, 이 특징을 feature라고 하고, 이 점들이 모인 집합을 point cloud라고 합니다.)     Mobile AR 시스템 개념모형 이태까지 이해한 내용과 ARKit에 대해서 애플이 2018년 WWDC에서 발표한 자료를 종합해 보면 전체적으로 Mobile AR 시스템이 어떻게 동작하는지 개념모형을 머리 속에 그려볼 수 있어요.   개념모형 ARSession을 요청한다. 카메라 하드웨어를 켠다. IMU 하드웨어를 켠다. Camera와 Motion Sensor는 ARFrame마다 값을 업데이트한다. AR Session이 열린다.(Session이 열린 순간의 카메라 위치를 원점으로 가상 월드 좌표계가 형성된다.) 그 좌표계에서 VIO를 통해, 현재 카메라의 위치와 회전값을 업데이트한다. 카메라 이미지를 분석해서, 물체를 감지한다. (등록된 사물이 아니면) 새로운 앵커를 만들어서 사물을 위치시킨다. (이미 등록된 사물이면) 업데이트 또는 병합한다. 7에서 9 과정을 반복한다.       참고자료 Understanding ARKit Tracking and Detection – WWDC 2018 – Videos – Apple Developer https://developer.apple.com/videos/play/wwdc2018/610/ Technology – ApproachableAR – Medium Interest point detection – Wikipedia https://en.wikipedia.org/wiki/Interest_point_detection Feature detection (computer vision) – Wikipedia https://en.wikipedia.org/wiki/Feature_detection_(computer_vision) Introduction To Feature Detection And Matching – Software Incubator – Medium https://medium.com/software-incubator/introduction-to-feature-detection-and-matching-65e27179885d     Gaudio Lab 은… 가우디오랩(주)은 VR/AR, 스트리밍 미디어, 모바일, 홈 등 소리가 있는 어디에서나 사람들에게 훌륭한 소리 경험을 제공하는 일을 합니다. 가상세계를  더욱 현실처럼 만드는 소리, 현실을 넘어 초현실적인 소리를 만드는 혁신적인 기술들로 전세계를 누비며 활약하는 국가대표 오디오 공학집단입니다. “올해의 최고 VR 혁신 기업상 수상(VR Awards, 런던, 2017)“, “ISO/IEC MPEG-H 3D Audio 국제표준 채택 (2013,2018)“으로 혁신성을 인정받은 6인의 음향공학박사와 오디오 Geek들은 실리콘밸리와 서울에 있습니다. The Science of Sound.      

2019.07.05