뒤로가기back

WORKS Plugin 소개 및 다운로드

2019.05.08 by Luke

WORKS PLUGIN

직관적이고 시각적인 UI를 갖춘 DAW(Digital Audio Workstation)용 공간 오디오 플러그인으로 VR, 360, 3D 몰입형 공간 오디오 컨텐츠를 생성하고 마스터링 할 수 있습니다.

 

WORKS 플러그인이 특별한 이유!

Works(웍스)는 3D 오디오 편집 및 믹싱 기능을 제공하며 다양한 3D 오디오 형식(유튜브, 페이스북, 가우디오)을 통해 모니터가 가능합니다.

제작된 오디오는 가우디오의 독자 포맷인 GA5 포맷으로 저장이 되고, 장면 기반 오디오와 객체 기반 오디오, 채널기반 오디오를 모두 지원합니다. 

 
 
 
 

Award Winning Product

WORKS의 혁신적이고 직관적인 기능으로 VR 어워즈 2017에서 올해의 Innovation Company 상을 수상.

 

 

*WORKS 플러그인에 대한 기술 지원은 계획하고 있지 않습니다. 이용에 양해 부탁드립니다.

pre-image
라우드니스 101

LOUDNESS 101   1. Loudness란 ?   Loudness란 인간 청각의 지각 정도에 의해 느끼는 소리의 크기를 뜻합니다. 내가 지금 듣고있는 노래의 크기를 주변 사람에게 알려준다고 가정해봅시다! 일단 소리가 크다면 Loudness가 크다고 할 수 있고, 소리가 작다면 Loudness가 작다고 할 수 있습니다. 하지만 주변 사람에게 소리의 크기를 알려준다고 했을때, Loudness에 대한 인지정도가 나와 같으리라는 보장은 없습니다. 주변 사람의 수가 많아질수록 그 보장성은 줄어들기까지 합니다. 이럴 경우 가장 효율적인 방법은 숫자가 도입된 객관적인 지표(단위)를 통해 전달하는 것입니다. 많은 분야에서 필요로했는지, Loudness 단위에 대한 연구는 활발하게 이루어져왔습니다. 그중에서도 브로드캐스팅, 스트리밍과 같은 시장에서 통용되고 실용성높은 단위를 소개하고자합니다. 소개하고자 하는 단위는 LKFS(Loudness K-Weighted relative to Full Scale)이며, LUFS(Loudness Unit relative to Full Scale)로도 불립니다. 이 단위와 관련된 파라미터들은는 ITU-R(International Telecommunication Union – Radiocommunication), EBU-R(European Broadcasting Union)에 의해 고안되었습니다.   2. Loudness 핵심 요소           위의 figure 1.는 Loudness를 측정하는 유틸리티의 인터페이스입니다. 관찰력이 좋다면 두 유틸리티에서 공통적으로 쓰이는 파라미터는 Integrated, Short-Term, Momentary loudness, true peak 그리고 Loudness Range가 있는 것을 확인 할 수 있습니다. (다른 Loudness 측정기를 보시더라도 유사한 파라미터가 쓰일 것입니다) 이번 챕터에서는 각 파라미터가 의미하는 바에 대해서 살펴보도록 하겠습니다.   2-1. 핵심 키워드   LKFS(LUFS) Loudness의 단위 중 하나이며, 인간의 청각 특성에 부합하게 설계된 K-weighting filter를 거친 입력 신호에 대한 크기입니다. K-weighting filter는 인간이 비교적 잘 듣는 주파수영역의 신호를 증가시키고, 비교적 잘 들리지 않는 주파수 영역의 신호를 감소시키는 필터로 이해하시면됩니다. Loudness의 종류에는 측정하는 길이에 따라 Momentary, Short-term, Integrated Loudness로 나뉩니다. Momentary Loudness는 0.4초, Short-term Loudness은 3초, Integrated Loudness는 전체 구간에 대한 소리 크기입니다.   LU(Loudness units) LKFS가 측정되는 자체의 값이라면 LU는 상대적인 측정량입니다. 즉, 기준 레벨 대비하여 얼만큼 차이가 나는지, 혹은 Loudness의 범위를 의미할때 쓰입니다. 예를 들어, 컨텐츠 A가 -12LKFS이고 컨텐츠  B가 -20LKFS이면 A 컨텐츠는 B 컨텐츠보다 +8LU 만큼의 Loudness를 가지고있다로 표현 가능합니다.   Momentary Loudness K-weighting filter를 거친 신호의 0.4초 분량에 해당하는 소리크기이며, 75% 오버랩(0.1초)을 하여 측정합니다. 순간순간의 소리크기로 이해하면 됩니다.     위 그림과 같이 측정한 결과를 히스토그램화 하여 누적하면 아래 그림과 같습니다.     Momentary Loudness의 히스토그램은 추후 Integrated Loudness를 계산할때 활용됩니다.   Short-term Loudness K-weighting filter를 거친 신호의 3초 분량에 해당하는 소리크기이며, EBU에서는  최소 0.1s 간격으로 갱신 할 것을 권장하고있습니다.   Short-term Loudness의 히스토그램은 추후 Loudness Range를 계산할때 활용됩니다.   Integrated Loudness 전체 구간에서 들리는 소리 크기의 평균이다. 컨텐츠 전반적인 소리 크기를 의미합니다. 구하는 방식은 다음과 같습니다. Step1) -70LKFS 이하의 momentary loudness 분포값들을 제거한 후, 나머지 분포값들의 평균을 구합니다.     Step2) step1에서 구한 평균보다 10LU만큼 작은게 relative threshold입니다.     step3) relative threshold보다 높은 분포값들의 평균이 integrated loudness입니다.       LRA(Loudness Range) 전체 구간에서의 Loudness의 범위입니다. 즉, 소리크기가 어느정도로  분포하고 있는지 알 수 있는 지표입니다. 구하는 방식은 다음과 같습니다. Step1)  -70LKFS 이하의 short-term loudness 분포값들을 제거한 후, 나머지 분포값들의 평균보다 20LU 작은 값(relative threshold)을 구합니다.     Step2) relative threshold를 넘는 분포값들 중 하위 10%와 상위 5%의 범위가 Loudness Range입니다.       True-peak 192kHz 샘플링 주파수로 변환하였을때의 피크값이며 단위는 dBTP입니다.  재생환경 중에서 충분히 높은 샘플링 주파수(192kHz)일때 열화를 방지하기 위한 값으로 이해하면 됩니다. 일반적으로 소비되는 음원의 샘플링 주파수는 44.1, 48kHz이기때문에 업샘플링을 하는게 일반적인데, 이때 기존의 sample peak 값보다 커질 수 있습니다. 업샘플링에 대한 예시입니다.     중축이 되는 업샘플링 기법 외에도 표현 범위를 넘어가는걸 방지하기 위한 attenuation, upsampling 이후에 유효한 신호들만 남기기위한 필터링, 데시벨 단위로 환산하기 위한 로그화 등이 진행됩니다. 아래 block diagram은 샘플링 주파수가 48kHz일때 true-peak를 구하는 일련의 과정입니다.     2-2. 라우드니스 감 익히기   3. 그 외   3-1. 왜 하필 LKFS(LUFS)인가요?Z   기존에는 RMS(Root-mean-square)를 활용하여 Loudness를 측정했지만 실제 인간의 청각 능력과는 매칭이 잘 안됐습니다. 이후 ITU, EBU에서 K-weighting 필터를 활용하여 인간의 청각 능력을 반영하고, 크기를 구하는 과정에서 보았듯이 소리크기를 느끼는데 있어 영향력이 없는 부분에 대한 열외처리를 하는 등 보다 정교한 방법으로 Loudness를 계산합니다. 다른 단위보다 정교하기때문에 대세로 자리잡지않았나 싶네요!   3-2. 각종 플랫폼의 Loudness 규제 및 권장 현황   (https://www.masteringthemix.com 발췌)   3-3. Loudness War에 관한 사견   Loudness와 관련된 이슈를 하나 말씀드리려합니다. 다들 아실수도 있는 ‘Loudness War’입니다. 제 마음대로 요약을 하면 컨텐츠 제작자가 “다른 창작물보다 나의 창작물의 소리를 더 크게 함으로써 청취자들로부터 하여금 더 주목받을 것이다. 보너스로 음질이 더 좋아진것처럼 청취자의 착각을 불러일으킬 것이다.“와 같은 마인드로 컨텐츠를 생산하는 것입니다. 혹은 “다른 창작물보다 나의 창작물의 소리를 더 키우진 않겠지만 차이가 크게 나지않도록 만들것이다.“와 같은 마인드도 될 수 있겠네요. 소리가 커지면 음질이 개선된다고 생각이 될지 모르겠지만, 실제로는 Dynamic이 좁아 표현력도 떨어지고, 클리핑 발생의 빈도가 높아져 음질 열화 확률은 더 높아집니다.  소리를 과하게 키우면 음원의 질 자체는 오히려 떨어진다는 것을 많은 소비자가 인지하여 소비의 패턴이 바뀌기를 희망합니다.   3-4. LKFS? LUFS?   Loudness의 단위를 최초 고안한것은 ITU에서하고 단위를 LKFS로 정의하였습니다. 이후 디스플레이 방식이나 Momentary, Short-term, Integrated Loudness, LRA 등의 용어와 디스플레이 방식 등을 정의 한것은 EBU에서 고안하면서 LUFS로 명칭을 변경하였지요. 따라서 북미권에서는 LKFS를 쓰고, 유럽권에서는 LUFS를 쓰는 경향을 보이네요. ((이 글은 상기 표준에서 내포한 철학을 필자 나름의 핵심 요소를 추린것이기에 보다 자세하고 깊은 내용을 원하시면 ITU-R BS.1770-4, EBU-R Tech 3341,3342를 정독하는 것을 권장합니다.))   Gaudio Lab 은… 가우디오랩(주)은 VR/AR, 스트리밍 미디어, 모바일, 홈 등 소리가 있는 어디에서나 사람들에게 훌륭한 소리 경험을 제공하는 일을 합니다. 가상세계를  더욱 현실처럼 만드는 소리, 현실을 넘어 초현실적인 소리를 만드는 혁신적인 기술들로 전세계를 누비며 활약하는 국가대표 오디오 공학집단입니다. “올해의 최고 VR 혁신 기업상 수상(VR Awards, 런던, 2017)“, “ISO/IEC MPEG-H 3D Audio 국제표준 채택 (2013, 2018)“으로 혁신성을 인정받은 6인의 음향공학박사와 오디오 Geek들은 실리콘밸리와 서울에 있습니다. The Science of Sound.      

2019.05.08
after-image
Mobile AR in Unity Part 1: AR

Mobile AR in Unity Part 1: AR 소개 최근 유니티로 AR 앱 개발을 마음 먹은 개발자라면 여러가지 개념들이 혼비한 상황 속에서 어떻게 시작해야 할 지 막막할 것 같아요. 왜냐하면 제가 그랬거든요. 특히 ARFoundation, ARCore, ARKit, AR Session, SceneKit, Point Cloud, Plane Detection 등 생소한 개념들을 모르는 상태라면, 더 당황스러울 거에요. 새로 나온 개념들은 자료가 부족하고, 이미 있는 기능들은 단위별로는 잘 설명해 두었지만, 큰 그림에서 서로 어떻게 엮여 있는지는 설명한 자료가 없어서 혼란스러울 거에요. 이러한 순서로 글을 적어보려고 합니다. 복잡한 개념들을 정리하고,  머리 속에 넣어 두어야 하는 개념모형을 간단히 설명해 주면서,  더 나아가 유니티에서 어떻게 AR을 구현할 수 있는지 설명 다들 제가 겪었던 삽질을 반복하지 마세요. 😇   AR   AR은 Digital Virtual World와 Real World를 연결한 World 라고 이해하시면 됩니다. 좀더 기억하기 쉽게 정리하면, AR World = Digital Virtual World + Real World AR기술의 범위는 꽤나 넓어서 다양한 응용분야가 있어요. 예로 들어, 어떤 스토어에 들어가는 순간 모바일 디바이스에서 GPS를 통해 위치를 검색해서 그 스토어에 들어간 것임을 확인하고 관련된 정보를 띄어주는 것 또한 현실과 디지털세계를 연결한 AR응용사례라고 볼 수 있겠죠.   Mobile AR: SLAM   그런데, 이 포스팅에서 집중하는 AR 응용 분야는 Mobile AR로 아래와 같이 크게 두 가지 핵심기술을 기반으로 하고 있어요.   현실세계에서의 디바이스 현재 위치를 추적하는 것 > Visual Inertial Odometry 현실사물을 인식하는 것 > Image Feature Analysis (Plane Detection, Object Detection 등등)   이렇게 VIO를 통해서 위치추정을 수행함과 동시에 사물 스캔을 통해서 가상의 맵을 그려내는 기술을 SLAM(Simultaneous localization and mapping)이라고 한다네요. 그러면 이제 이 2가지 핵심기술에 대한 개념을 정리해 볼게요.   Visual Inertial Odometry Visual Inertial Odometry는 직역하면 시각적 관성 거리계로, Visual Odometry와 관성측정장치인 Inertial Measurement Unit(이하 IMU)의 합성어에요.        Visual Inertial Odometry = IMU + Visual Odometry    각각의 기술 개념을 정리하면 아래와 같아요.   IMU IMU는 accelerometer와 gyro의 조합을 통해서 대상이 받고 있는 힘과 가속 등을 체크하는 전자기기에요. IMU를 통해 현재 디바이스의 Motion 정보를 얻어낼 수 있죠. 그런데 IMU만 이용할 경우에는 갑작스런 움직임을 정확히 반영하지 못하는 기술적 한계점이 있었고, 그 한계를 보완하기 위해 소프트웨어적으로 이미지를 분석하고 이에 기반해 디바이스의 위치를 좀 더 정확하게 보정해 주는 Computer Vision 기술이 들어가는 것이에요. 그리고 그것이 바로 Visual Odometry입니다.   Visual Odometry “Visual Odometry는 카메라 이미지를 분석해서 디바이스의 Pose(=Position & Rotation)을 정의하는 프로세스를 말하는데, 로보틱스와 컴퓨터 비젼에서 다루고 있는 분야” (출처: wikipedia)   즉, VIO의 개념을 정리하면,디바이스의 모션 센서 그리고 카메라 이미지를 분석을 통해 디바이스의 현재 위치와 회전값을 측정하는 기술이에요. 이 기술을 통해 카메라가 현실 세계의 origin(0, 0, 0)을 기준으로 어디에 위치해 있는지 그리고 어떤 곳을 바라바고 있는지를 디지털 3D 세계에 표현할 수 있게 되는 거에요. 그렇다면 카메라의 위치정보 말고 ‘평면감지‘, ‘오브젝트 감지’ 등의 정보는 어떻게 얻을까요?이를 위해서 Image Feature Analysis기술이 들어갑니다.   Image Feature Analysis AR에서 2D카메라 이미지를 분석해서 현실의 3D 사물을 인지하는 방법은 우리가 두 눈을 이용해서 공간감을 인지하는 방법과 다르지 않다고 합니다. 어떤 책상의 한 점을 북쪽에서 봤다고 하면, 약 10cm 정도 옆으로 가서 봐도 그 점이 보인다면, 그 점은 특징점이고 이미지 간 같은 두 특징점의 삼각법을 통해 거리를 분석해 냅니다.   여기서 특징점이라는 말은 Interesting Point라고 생각해도 무방합니다. 도메인의 목적에 따라 특징을 정의하는 방식이 다른 굉장히 추상적인 개념이에요. Mobile AR 도메인에서 특징점(흥미를 갖고 있는 점)은 다른 각도에서도 발견되는 같은 점들입니다.(참고로, 이 특징을 feature라고 하고, 이 점들이 모인 집합을 point cloud라고 합니다.)     Mobile AR 시스템 개념모형 이태까지 이해한 내용과 ARKit에 대해서 애플이 2018년 WWDC에서 발표한 자료를 종합해 보면 전체적으로 Mobile AR 시스템이 어떻게 동작하는지 개념모형을 머리 속에 그려볼 수 있어요.   개념모형 ARSession을 요청한다. 카메라 하드웨어를 켠다. IMU 하드웨어를 켠다. Camera와 Motion Sensor는 ARFrame마다 값을 업데이트한다. AR Session이 열린다.(Session이 열린 순간의 카메라 위치를 원점으로 가상 월드 좌표계가 형성된다.) 그 좌표계에서 VIO를 통해, 현재 카메라의 위치와 회전값을 업데이트한다. 카메라 이미지를 분석해서, 물체를 감지한다. (등록된 사물이 아니면) 새로운 앵커를 만들어서 사물을 위치시킨다. (이미 등록된 사물이면) 업데이트 또는 병합한다. 7에서 9 과정을 반복한다.       참고자료 Understanding ARKit Tracking and Detection – WWDC 2018 – Videos – Apple Developer https://developer.apple.com/videos/play/wwdc2018/610/ Technology – ApproachableAR – Medium Interest point detection – Wikipedia https://en.wikipedia.org/wiki/Interest_point_detection Feature detection (computer vision) – Wikipedia https://en.wikipedia.org/wiki/Feature_detection_(computer_vision) Introduction To Feature Detection And Matching – Software Incubator – Medium https://medium.com/software-incubator/introduction-to-feature-detection-and-matching-65e27179885d     Gaudio Lab 은… 가우디오랩(주)은 VR/AR, 스트리밍 미디어, 모바일, 홈 등 소리가 있는 어디에서나 사람들에게 훌륭한 소리 경험을 제공하는 일을 합니다. 가상세계를  더욱 현실처럼 만드는 소리, 현실을 넘어 초현실적인 소리를 만드는 혁신적인 기술들로 전세계를 누비며 활약하는 국가대표 오디오 공학집단입니다. “올해의 최고 VR 혁신 기업상 수상(VR Awards, 런던, 2017)“, “ISO/IEC MPEG-H 3D Audio 국제표준 채택 (2013,2018)“으로 혁신성을 인정받은 6인의 음향공학박사와 오디오 Geek들은 실리콘밸리와 서울에 있습니다. The Science of Sound.      

2019.07.05