뒤로가기back

골든이어들이 알려주는 - 공간음향(Spatial Audio), 이렇게 들어보세요.

2023.03.29 by Maya Yoo

가우디오랩 골든이어들이 알려주는
공간음향(Spatial Audio), 이렇게 들어보세요!

 

소리를 듣는다는 것은 참 개인적인 일이 아닐까 싶습니다. 누구나 음악을 들을 때 각자의 취향이 있는 것처럼요. 저는 콘서트장에서 직접 듣는 공간감 있는 소리를 참 좋아합니다. 좋아하는 아티스트가 눈 앞에 뿜어내는 열기와 에너지를 그대로 소리를 통해 느낄 수 있기 때문입니다.

‘공간 음향(spatial audio)’이라는 기술이 세상의 주목을 받기 시작하면서, 공간 음향이 지원되는 스마트폰과 이어버드만 있으면 누구나 쉽게 ‘콘서트에 온 것만 같은’ 소리를 접할 수 있는 세상이 되었습니다. 굳이 여러 대의 스피커를 배치하고 좋은 오디오 장비를 구입하지 않더라도요.

이러한 편리함 덕분인지 최근 공간음향에 대한 관심도가 점점 높아지고 있는데요! 어떻게 하면 조금 더 공간음향을 제대로 즐길 수 있을지, 공간음향 기술의 원조라 자부하는 가우디오랩에서 소개해드리고자 합니다.

→ 공간음향에 대해 더 알고 싶으시다면, 이 글도 읽어보세요.

 

누군가 한국의 ‘소리 장인'을 묻는다면, 모두들 가우디오랩을 떠올립니다

잠깐, 그 전에 먼저 가우디오랩을 소개해드려요. 가우디오랩은 전 세계에서 오디오를 사랑하는 사람들의 밀도가 가장 높은 회사일 것이라 자부할 수 있습니다. 그런만큼 정말 특별한 구성원들이 많은데요. 그 중에서도 천부적인 재능으로 혹은 오랜 시간동안 업계에서 갈고 닦은 경험으로, 좋은 소리들을 판별해내는 이른바 ‘골든이어’ 가우딘(가우디오랩 구성원을 칭하는 말)들이 계십니다. 가우디오랩의 기술들은 반드시 이 오디오 장인들의 손과 귀를 거쳐야 비로소 세상의 빛을 볼 수 있습니다. 그 중에서도 공간음향에 대한 높은 이해도와 전문성을 갖고 계신 골든이어 분들을 모시고 여러 팁들 제대로 전수해드리고자 합니다!

소리경험이란 지독히도 개인적이지만, 이 분들의 말씀을 통해 한번 더 나의 취향을 발견해보는 계기가 되기를 바라면서요!

 

가우디오랩 대표 골든이어들을 소개합니다

James

제임스는 음향공학 박사입니다. 어렸을 때부터 음악을 듣고 연주하는 것을 좋아했어요. 특히 피아노를 연주하고 또 듣는 것을 무엇보다도 좋아합니다. 클래식과 재즈 장르를 좋아하고, 옛날 곡들도 많이 듣습니다. 요즘에는 Claudio Arrau의 피아노 연주에 푹 빠져있어요.

Jayden

제이든은 음향공학 박사입니다. 하숙을 함께한 형들의 권유로 음악의 세계에 입문하게 되었는데요. 발라드와 함께 고요한 밤을 보내는 것을 좋아하는 낭만주의자랍니다. 아기가 조금 더 크면 함께 기타를 연주하는 것이 꿈입니다. 

 

Bright

브라이트는 사운드 엔지니어입니다. 사촌 형의 MP3 플레이어를 듣다가 사운드 엔지니어의 꿈을 키우게 되었어요. 오케스트라와 함께 하는 발라드 곡을 좋아합니다. 우주를 사랑하는 우주덕후이자 컴퓨터 조립에도 관심이 아주 많아요. 

 

1. 뜨거운 관심만큼 많은 공간음향 기술이 시장에 나와 있는 요즘입니다. 잘 구현되었거나 인상 깊게 들어 본 공간음향이 있으세요?

Jayden: 개인적으로 현재 출시된 공간음향 중에서는 (AirPods Max 아니고) AirPods Pro의 Spatial Audio가 완성도가 높다고 생각합니다. 아직 다른 솔루션들은 보완해야 할 점들이 존재하는 것 같아요.

소리에 공간감을 주려면 소리가 어느 방향에서 나오고 있는지 청자가 알 수 있도록 “방향감"을 주는 것이 중요합니다. 그를 위해서는 소리에 ‘바이노럴 큐(Binaural cue)’ 라는 것을 입혀줘야 되는데요. 쉽게 말씀드리면, 소리가 귀로 들어올 때, 양쪽 귀의 위치(거리) 차이 때문에 왼쪽과 오른쪽 귀에 소리가 다르게 들어오게 되는데요. 바이노럴 큐는 이를 반영한 것이라 보면 됩니다.

바이노럴 큐를 적용하게 되면 상대적으로 고주파 대역이 강조되면서 음색의 변화가 생기게 되는데요. (그걸 감수하더라도) 소리에 위, 아래 등 방향감을 정확하게 주는 것이 기술적으로 정말 쉽지 않습니다. AirPods Pro의 Spatial Audio는 이러한 음색의 왜곡을 최소화하면서 소리의 방향감을 주는 과정을 잘 튜닝했다고 생각해요.

조금 더 장점을 꼽아보자면, 어떤 컨텐츠를 재생하더라도 편안한 소리를 들을 수 있는 것이 장점인 것 같습니다. 애플 특유의 자극적이지 않은 mild한 음색 때문에 오래 들어도 귀가 피곤하지 않구요.

 

Bright : 믹스 엔지니어의 추가 믹싱마다 차이가 있지만, 저도 Apple의 공간음향이 기존 스테레오 음원과 비교했을 때 가장 이질감이 적으면서 공간감있게 렌더링해준다고 느꼈어요. 모든 공간음향 렌더링을 거치면 저음 양감이 상당히 사라지지만, 그 중 그래도 가장 자연스럽다고 할까요?

James :  가우디오랩의 공간음향 기술인 GSA 제외하고, 심도있게 들어본 건 Apple Spatial Audio예요. 하지만 아직까지 모든 면에서 좋다고 생각하는 공간음향은 아직 찾지 못했답니다.

어느 공간 음향이나 각자의 개성, 장단점들은 있다고 생각해요. 그래서 절대적인 우열을 가리기보다는, 여러 관점들을 가지고 평가해야 합니다. 그런 측면에서 볼 때, 아직은 공간음향이 가야할 길이 멀고 개선해야 될 부분 또한 무궁무진하다고 생각합니다. 그만큼 앞으로 공간음향은 점점 더 발전하리라 봅니다! :)

 

2. 좋은 공간음향을 가르는 기준 혹은 공간음향을 잘 듣는 본인만의 팁이 있으시다면요?

Jayden : 공간음향을 들을 때 ‘외재화 효과’가 얼마나 잘 구현되었는지 보면 좋을 것 같아요.

공간음향이라는 단어 그대로, 헤드폰이나 이어폰에서 들리는 소리가 바깥에서 들리는 듯한 공간을 만들어주어야 합니다. (외재(=外在), 바깥에 존재한다는 뜻이에요!) 외재화는 시각적으로 표현하자면, 머리를 중심으로 바깥에 생기는 구형 모양의 소리 공간이라 생각하면 됩니다.

공간음향을 적용하지 않고 음악을 들었을 때를 잘 관찰해보면, 소리의 음상이 머리 속 중앙에 맺히게 되는 것을 느낄 수 있습니다. 하지만 생각해보면 실제로 우리가 일상에서 듣는 소리는 모두 머리 밖(귀 바깥)의 공간에서 발생되는데요. 이어폰을 착용했더니 소리가 갑자기 머리 속에서 들리는 상황 자체가 자연스럽지 못한 상황이 되지요. 이어폰을 끼고 음악을 들었을 때, 머리 속이 아닌 머리 밖에서 들리는 것처럼 만들어주는 기술이 바로 외재화(externalization)입니다. 외재화 기술이 좋을 수록, 이어폰으로 듣더라도 실제 현실에서 듣는 것 같은 자연스러운 소리를 들을 수 있게 되는 것은 어쩌면 당연한 이야기죠.

아티스트가 의도한 음악이 그대로 들린다는 것은 어떤 경험일까요? 사실 공간음향이 없다면 소리들이 뭉쳐서 큰 소리가 작은 소리를 잡아먹는듯한 현상을 자주 느낄 수밖에 없습니다. 하지만 공간음향을 통해 각 음원의 방향이 머리 밖 3차원 공간에 넓게 확산되면, 구석구석 소리가 살아나 음성이 더 풍성하고 입체적으로, 결국은 의도에 가깝게 들리게 됩니다.

Figure 1. 외재화 효과가 없을 때(왼쪽)와 적용되었을 때(오른쪽) 비교

 

James : 저 역시 공간음향의 핵심은 외재화라는데 동감해요. 귀에 때려 박히는 소리가 아니라, 곡을 구성하는 악기들이 자연스럽게 공간으로 퍼져서 어떻게 들리는지.. 그 과정을 주의깊게 들어보면 좋을 것 같아요.

보통 대부분의 음원들은 청자의 전면에 위치해있는데요. 곡을 들었을 때 눈 앞의 전면 스테이지가 잘 생성되면서도 개별 악기의 위치가 잘 느껴진다면, 이어폰이 아닌 어떤 공간에서 실제 소리를 듣는 듯한 느낌이 생길 거예요.

 

Figure 2. 아하, 음악을 듣고 이렇게 음상이 떠오른다면 좋은 공간음향!

 

Jayden : 공간음향은 결국 실제로 듣는 소리를 이어폰에서도 재현하는 것이 궁극적인 목표라 생각하는데요. 실제 공간에서 소리가 어떻게 들리는지 관찰하고 이를 기억한다면 선택하는데 도움이 될 거라 생각합니다.

평소 음악을 조용히 감상하는 공간이 있으면 거기에서 소리를 들어보는 경험을 하는 것도 좋을테고요. 하물며 일상 생활에서도 소리들이 어떻게 들리는지에 집중해보는 것도 좋을 것 같아요. 생각보다 사람들은 일상에서 많은 소리를 듣지만, 사실 소리에 대한 자극보다는 정보를 취하는데 집중되어 있어요. 의식적으로 ‘이럴 때는 소리 자체는 이렇게 들리는구나’에 대한 생각이나 경험을 자주하면, 좋은 공간음향을 만날 수 있을거라 생각합니다.

 

3. 공간음향을 즐기기에 좋은 곡들을 추천해주세요 :) 

James : 조금 역설적이게도 옛날 녹음들이 공간음향 솔루션이 적용됐을 때 좋은 효과를 나타내는 경우가 많았습니다. (스피커 재생을 염두에 두고 녹음해서일까요?ㅎㅎ)

Oscar Peterson Trio의 Night Train 이나 We get requests 같은 음반을 들으면, 공간음향을 적용할 때 전면 스테이지의 공간이 조금 더 생기면서, 악기들이 자연스럽게 배치되는 느낌을 받을 수 있었습니다.

 

Jayden : 곡으로 추천하기에는 너무 어려운거 같고요 (웃음), 기타나 목소리 등 소수의 악기들로 구성된 조용한 음악이 공간음향을 이해하는데 도움이 될 거 같습니다.

 

Bright : 요즘 빠진 앨범은 아무래도 Apple Music Live: Billie Eilish 앨범이에요. 가만히 눈을 감고 들어보면 정말 현장에 있는 듯한 느낌을 주거든요. 양 옆과 뒤에서 느껴지는 관객 환호성과, 공연장 특유의 디테일은 뭉개지지만 강한 에너지가 돋보여요. 공간음향으로 접하기 좋은 음악들은 역시 라이브 앨범들이 좋았던 것 같아요. 대체로 음원의 이미지가 강한 영화음악 OST들도 들어보면 영화관에서 영화를 다시 보는 듯 한 감동을 제공해줄 거에요.

 

여기에 공간음향으로 들어보기 좋은 곡들을 모아놓았습니다. 가지고 계신 기기의 공간음향 기능을 켜고 들어보세요!
가우디오랩의 공간음향 기술을 적용한 곡들은 어떤지 궁금하시다면, 이 플레이리스트[링크]도 함께 들어보세요. 가우디오랩의 음원 분리 기술과 공간음향 기술을 적용해, 김광석과 성시경 두 가수의 듀엣곡을 만들어 보았습니다.

 

4. 마지막으로, 골든이어가 되는 나만의 지름길이 있다면 소개해주세요! 


James
: 본인에게 익숙한 곡을 여러 기기들을 사용해가면서 비교해 들어보는 과정들이 도움이 되지 않을까 합니다.

기기마다 조금씩 특성이 다른지라 똑같은 음원을 비교하면서 들어보는게 좋은데, 아무래도 본인에게 익숙한 음원들은 어떤 부분이 어떻게 변경되었는지 조금 더 쉽게 판단할 수 있을 것 같아요.

다만, 어떤 과정을 거치더라도 자신만의 데이터베이스가 쌓이는 과정이 필요하니, 시간이 제법 걸리는 일이라는 건 피할 수 없을 것 같다는 점! :)

 

Bright : 한번 쯤은 눈 딱 감고 좋은 이어폰/헤드폰에 투자해 보세요!

사실 좋은 이어폰으로 듣기 시작하면, 어느 순간 안 들리던 소리가 들리고, ‘어? 이 드럼이 원래 이런 소리였나?’ 하며 점점 골든이어가 되어가는 자신을 보실 수 있을겁니다. 본인이 좋아하는 음악 속 다른 요소들을 발견하고, 예전에 듣던 음악들을 다시 찾아듣는 순간부터 이미 일반인은 아니라고 생각해요.

 

Jayden : 내가 어떤 소리를 듣기 좋아하고, 어떤 소리를 듣기 싫어하는지 아는 것이 중요하다고 생각해요.

내 귀가 소리를 어떻게 듣는지 먼저 알고, 듣기에 거슬리거나 부담스러운 소리들이 왜 불편한지 알아보는 것도 필요하지 않을까요? 사람마다 귀의 형태가 다르고, 그 귀를 통해 들은 소리들이 태어나면서 지금까지 뇌가 트레이닝된 형상도 다르기 때문에 소리의 대한 평가는 당연히 주관적일 수 밖에 없습니다.

골든이어인지 아닌지의 여부는, 나의 주관에 얼마나 확신이 있느냐에 따라 달려있는데요. 많이 들어보고 의식적으로 집중하여 소리를 자극으로 받아들이고, 나의 평가에 확신을 점점 가져가는 것이 골든이어가 되는 지름길이지 않을까요? (웃음)

 

많은 도움이 되셨나요? 가우디오랩은 공간음향 기술을 정의한 유일한 오디오 표준인 ISO/IEC MPEG-H Audio에 해당 기술을  채택시킨 원조 공간음향 기술 회사로, GSA(Gaudio Spatial Audio)라는 공간음향 기술을 디바이스 및 라이브 스트리밍과 같은 콘텐츠 제작에 활용하고 있습니다.

 

가우디오랩의 골든이어들이 만든 GSA에 대해 더 자세히 알고 싶다면 아래 버튼을 통해 조금 더 알아보세요! 

 

 

after-image
근우의 커리어 스토리 대방출! with AIIT

얼마 전 가우디오랩의 AI 디렉터 근우와 AI 커뮤니티인 AIIT가 인터뷰를 진행했는데요, 그 내용을 소개해드리려고 합니다.   AI/ML 관련 경험과 지식을 공유하는 커뮤니티 AIIT의 첫(!) 인터뷰인 만큼, 해당 분야에서 가장 핫한 연구자인 근우가 인터뷰이로 섭외되었는데요.   여러 어려움마저도 도전적인 '경험'의 일부라며 최고가 되기 위해 노력해 온 Competence한 마인드셋부터, 리서처이자 조직의 리더로서 연구와 비즈니스의 균형을 맞추며 쌓아온 솔직한 노하우와 진심 어린 조언들로 가득 담겨있답니다~   저와 같은 주니어부터 조직을 이끌어가는 리더까지, 모두에게 도움이 될 법한 유익한 이야기, 함께 보러 가실까요? Go Go!!    * 본 글은 AIIT <커리어 인터뷰>에 게재된 인터뷰를 일부 편집하였습니다.     '경험'이 최고의 가치였던 근우의 커리어 여정    Q. 안녕하세요 근우님, AIIT 커뮤니티 분들께 간단하게 근우님 소개를 부탁드립니다!   K. 안녕하세요, AIIT 커뮤니티 여러분. 처음 뵙겠습니다. 최근우라고 합니다. 만나 뵙게 되어서 반갑습니다. 저는 음악과 오디오 쪽 연구를 14년가량 해왔고 AI와 관련해서는 박사 졸업 후 4~5년 정도의 경험이 있습니다. Spotify, ByteDance(TikTok)에서 리서처로 일하다 현재는 가우디오랩에서 AI 디렉터로 일하고 있습니다.     Q. 음악, 오디오 쪽 연구를 하신 이력과 대비해서는 AI와 관련된 경험이 상대적으로 짧으신데요, 어떻게 음악, 오디오와 AI를 접목하실 생각을 하셨나요? AI 친화적인 시대의 흐름에 따라 내리신 결정인가요 아니면 특별한 근우님만의 계기가 있으셨나요?   K. 저는 원래는 음악 연구를 더 하고 싶었지만, 석사 때는 음향 연구를 하게 되었습니다. 음향 연구 역시 재미는 있었으나, 특히 제가 했던 3D 오디오는 실제 공간에서 일어나는 "소리"를 대상으로 하는 연구로 전자·전기와 물리에 기반한 내용을 담고 있다 보니 깊이 있는 학습이 계속 이어져야 했습니다.   석사 졸업 후 병역특례 기간 동안 논문을 4차례 투고했는데 제가 정말 원했던 곳에서는 다 통과되지 못했어요. 생각하면 정말 가슴이 아픈데, 머신러닝 practice를 제대로 이행하지 못해서 통과되지 못했다는 리뷰를 받았어요. 그때 ‘아 머신러닝을 해야겠다!’라는 생각했었고, 2013, 14년쯤 Computer Vision 분야에서 딥러닝의 성공이 오디오로도 전파되기 시작했고, 저도 살아남으려면 이게 답이라는 생각이 들었습니다.   저는 소리 중에서도 음악을 소재로 다루고 싶었고 실제 공간에서 일어나는 물리적인 현상보다는 디지털 도메인에서 일어나는 일을 하고 싶었어요. 그래서 박사 과정은 분야로는 CS, 소재로는 음악을 하는 음악 연구(Music Information Retrieval)를 골랐습니다. 종합적으로 생각해 보았을 때 머신러닝과 음악 연구가 시너지를 낼 가능성이 컸거든요.     Q. 그전까지 걸어왔던 근우님의 커리어는 AI와는 살짝 먼 것처럼 보이지만 가슴 아픈 2년을 보내시면서 방향이 많이 달라졌군요. 그 덕에 어떻게 보면 모두가 굉장히 관심 있어하는 회사들에서 근우님의 커리어를 이어 나갈 수 있었던 것 같아요. 그럼 각각의 커리어를 어떻게 시작하게 되셨는지와, 어떤 기준을 가지고 다음 스텝으로 옮기시게 되었는지 들어볼 수 있을까요?   K. 저는 매사에 ‘경험'을 중요시하는 타입이에요. “내가 그곳에서 어떤 경험을 할 수 있을까?”를 중심으로 생각하여 선택했습니다. Spotify에서 2년, ByteDance(TikTok)에서 1년 8개월, 현재 가우디오랩에서 약 1년 정도의 시간을 보내고 있네요.   런던에서 박사 과정을 밟다가 방문 연구 자격으로 뉴욕으로 오게 되었어요. 런던도 좋은 곳이긴 하지만, 제겐 뉴욕이 좀 더 잘 맞더라고요. 그래서 그때 난 꼭 여기서 직장을 얻어야겠다고 혼자 다짐했었죠. AI라고 넓게 봤을 때는 갈 수 있는 회사가 많지만, 제가 원하는 분야는 AI와 음악 혹은 오디오가 교집합으로 있어야 해서 상대적으로 희귀해요. 당시 Spotify가 제가 세웠던 조건에 가장 부합하는 회사였기에 망설임 없이 지원하게 되었습니다. 이런 말 하기는 좀 그렇지만..., 제 생각보다는 할 수 있는 것들이 많지 않았어요. 제가 박사 때 연구했던 내용을 가장 유용하게 쓸 수 있는 곳이라고 생각되어 갔지만, 막상 가보니 비즈니스가 너무 안정적인 나머지 제가 할 수 있는 게 없었어요. 이미 다 되어 있었거든요. 딱 하나 제가 기여할 수 있는 부분이 있어 팀과 매니저를 설득해 진행할 수 있었습니다. 그 프로젝트를 끝내고 난 후 많이 고민했어요. 내가 무엇을 더 할 수 있을까, 회사가 가는 방향성에 내가 가진 능력이 얼마나 많은 기여가 될까 등을 생각했을 때 제가 더 주도적으로 할 수 있는 곳으로 가는 게 옳다고 판단했습니다. 그렇게 Spotify를 떠나 ByteDance로 이직하게 되었습니다.   ByteDance에 갔더니 정말 할 게 많아서 좋았어요. (웃음) 제가 쓸모 있다고 느낄 수 있었죠. 다만 1년 정도 지난 이후에는 힘든 점들이 생기기 시작했어요. 일례로 저는 뉴욕에 있고 함께 일해야 하는 팀원들은 캘리포니아와 상하이에 있어 시차 때문에 함께 협업하기가 매우 까다로웠어요. 심지어 이 시기는 코로나가 유행했던 시기라 원격 근무를 해야 했거든요.   그리고 조심스럽지만, 외국인으로서 해외 회사에서 일하다 보면 눈에 보이지 않는 유리천장을 느낄 때가 많아요. 팀원들과 리더에게 새로운 프로젝트에 대한 의견을 제시하거나, 아이디어를 내도 거기가 끝이었어요. 제게 의사 결정을 할 수 있는 권한이 없었으니까요. 그런 부분에서 답답함이 컸어요. Spotify건 ByteDance건 제가 계속해서 다니려고 했다면 안정적으로 다닐 수 있는 좋은 회사예요. 하지만 앞서 말했듯 저는 경험을 중요시하는 사람이고, 제가 배우는 것이 없다면 떠나야 한다고 생각했습니다.   외국 회사에서는 제가 tech lead나 engineering manager가 되고 싶다면 그 포지션이 되기 전부터, 그 포지션을 맡은 사람이 수행하는 것만큼 사람들에게 도움을 주고 임팩트 있는 일들을 해서 자기 증명을 해야 해요. 그 말이 맞는 말이긴 하지만 제가 처한 상황에서는 할 수가 없었습니다.   그렇게 고민하던 시기에 가우디오랩에서 연락이 왔어요. 원래는 AI를 메인으로 하는 곳이 아니지만 제가 갈 때쯤 AI가 기반이 되는 프로덕트를 만드는 시점이었고, 그 부분에 공격적으로 투자하고 싶어 했어요. 그런 타이밍이 잘 맞았고 저로서는 새로운 것을 경험하고 싶어 이직하게 되었습니다.   Gaudio Friday Night Live (GFNL)의 메인 보컬 근우!   Q. 그래도 글로벌 기업에서 일하시다가 스타트업으로 옮기는 게 쉬운 결정은 아니었을 것 같아요. AI 연구라는 게 인프라와 데이터 사이즈가 연구하는데 영향 있을 텐데 일하는 방식이 어떻게 다른가요?   K. 스타트업이기 때문에 제게 회사 내에 임팩트를 줄 수 있는 적합한 포지션을 제안하고, 그 책임감을 제게 부여할 수 있었다고 봐요. 제가 원하는 것들을 찾다 보니 스타트업으로 가게 된 거죠. 큰 회사에 있을 땐 특히 내부 데이터로 할 수 있는 일들이 많았어요. Spotify에서는 내부 데이터를 많이 사용하기도 했고, 그런 것 대비 큰 회사에 있을 땐 편한 부분이 많이 있어요. 데이터 팀도 이미 있으니 설령 우리가 가지고 있지 않은 데이터를 요청해도 최대한 빨리 받을 수 있었어요. 그런 의미에서 보면 제가 그냥 맡은 일부분만 잘하면 되었죠.   가우디오랩에서는 문제를 풀기 위해서 데이터를 어디서 가져와야 하나부터 생각해요. 그런 점이 도전적이죠. 데이터가 없다는 게 문제의 일부이니, 데이터가 없다는 걸 감안하고 문제를 푸는 방법을 찾아가죠. 쉽지 않고 상대적으로 불편한 환경이긴 하지만 제가 경험하는 것을 중요시한다고 말씀드렸잖아요? 큰 회사에서는 경험할 수 없었던 것들을 여기서 많이 느끼고 있어요. 그리고 이런 경험은 제가 다음 커리어에서 어떤 문제를 풀 때 저에게 도움이 될 것이라고 믿어요.     직접 깨지고 부딪히며 깨달은 몇 가지   Q. 본인의 한계를 계속해서 깨부숴 나가기 위해 이직하신 경우시군요. 그렇게 커리어를 쌓아 나가시는 동안 개인적인 성장통이나 가장 큰 도전이 있었다면 어떤 걸까요?   K. ByteDance에서 함께 했던 팀원들의 역량 범위가 넓은 편이었어요. 저처럼 박사 과정을 하고 경력직으로 오신 분들도 있었고, 혹은 석사 졸업 후 바로 들어오게 된 사례도 있었고요. 그러다 보니 제가 조금 더 경험이 있어 팀 내 작은 파트를 이끌게 되었어요. 시니어로서 저는 이 프로젝트를 끌고 나가야 하지만, 제게 함께 일하는 주니어분들의 R&R을 산정하거나 스케줄링할 권한은 없었죠. 누가 이걸 맡아야 하는지 명확하지만, 이를 어떻게 설득해야 하는지 많이 고민했었습니다. 그때 내려놓는 법을 배웠어요. ‘내가 내 욕심만을 가지고 누군가를 바꾸려 하는 건 쉽지 않구나’ 하고 해탈했습니다.   이때 했던 고민이 지금까지 이어지는 것 같아요. 팀원들을 관리하고 제품에 대한 로드맵을 정의하고 하는 일을 분명히 하고 싶어 했는데 실제로 제가 직접 해보니 이게 쉽지 않아요. 정보를 어떻게 전달해야 하는지, 리소스를 어떻게 분담해야 하는지 등을 생각했던 것 이상으로 다각도에서 고민하고 행동해야 해요. 우리가 흔히 말하는 ‘짜치는 일'은 제가 웬만해서는 팀원들을 위해 하려고 하지만 항상 그 범위와 허용치를 정하는 데 매일 에너지를 쏟고 있습니다.   가우디오랩에서도 최근 1년간 고민했던 부분은 연구와 비즈니스 사이드 간의 균형을 맞추는 것이었어요. 연구자의 시선으로 봤을 땐 무엇이 되고, 무엇이 어려운지가 명확해요. 다만 이게 시장에서 필요로 하는 것일까에 대한 대답은 찾기 어려워하죠. 반대로 프로덕트를 디자인하는 사람들은 아직 시장에 없는 기술에 대해서는 상대적으로 이해도가 낮을 수밖에 없어요. 그래서 연구 파트에 요구사항을 전달할 때 모호하게 전달할 때가 있죠. 하지만 제가 가우디오랩에서 맡은 리드로써의 역할은 서로의 애매한 부분을 정리하고, 한 번 더 우리끼리의 결정 사항을 확인하고, 같은 방향성을 만들어 나가는 거예요. 이번 년에는 더욱더 우선순위를 잘 산정해서 일을 진행해보는 것을 개인적인 목표로 생각하고 있습니다.   오히려 인터뷰를 읽고 계신 다른 분들께 여쭤보고 싶어요. 리더로써 어떻게 다들 밸런스를 잡고 있으신가요? 제가 배울 수 있는 좋은 팁이 있다면 공유 부탁드립니다.     Q. 근우님의 지금까지 경험이 많은 분들께 굉장히 흥미롭게 느껴질 것 같아요. 누구나 일하고 싶어 하는 글로벌 기업에서 일하는 경험은 흔치 않으니까요. 글로벌한 조직에서 일하고자 하는 분들께 조언을 해주신다면요?   K. 여러 노력이 필요하지만, 그중에서도 오픈소스 활동과 블로그, 학회 세션 참여, 트위터 등 본인이 기여할 수 있는 한 다양한 활동을 해보라고 강조하고 싶어요. 그런 경험이 없다고 하면 채용 시 리스크가 크다고 느껴요. 언어 문제, 비자 문제, 시차 문제, 문화 문제 등 다양한 점들이 종합적으로 고려되기에 더 높은 확신을 회사에 주어야 해요. 그럴 때 확신을 줄 수 있는 가장 좋은 방법이 이런 활동들에 참여했다는 경험이죠.   특히 엔지니어, 리서처들은 논문들은 너무 당연하고, 그 외에 활발하게 소통하고 하찮은 거라도 기여해봤다는 것이 도움이 많이 되어요. 그리고 국내와 비교했을 땐 글로벌 회사에서 일하는 엔지니어, 리서처들이 좀 더 외향적인 모습을 많이 드러내고 있어서 이런 모습을 보이면 어필할 수 있겠죠?   저 또한 오픈소스의 크리에이터이자 메인테이너로 활동하고 있어요. 오픈소스 활동이 회사에서 코드를 짜는 것과는 달라요. 솔직히 말해서 회사에서 짜는 코드는 매번 유지하고 보수하기엔 리소스가 너무 많이 들어요. 글로벌 기업이라고 해서 코드가 완벽하지 않다는 걸 저도 느꼈고요. 마음속으로 ‘저렇게 엉망인데 배포한다고?’라고 생각해 본 적도 있어요. 비즈니스를 녹이다보면 어쩔 수 없이 클린코드를 짜는 것보다는 코드를 짜고 빠른 배포를 하는 데 중점을 둬야 할 때도 있고요. 회사의 코드는 메인터넌스가 1순위로 고려돼야 할 부분이 아니고, 특히나 리서처들이 짜는 코드는 결과를 보이는 게 더 중요할 때가 많아요.   근우의 개인 Github. Pinned된 레포트를 봐주세요! 근우가 진행하는 오픈소스 프로젝트   저는 박사 때 오픈 소스 활동을 많이 하면서 정말 많이 배운 편이에요. 수많은 사람이 쓰자고 만드는 거고, 그러다 보니 매우 엄격한 기준을 두고 코드 퀄리티나 코딩 컨벤션을 준수하게끔 해요. 저도 처음엔 PR이라는 게 뭔지 모르고, 말도 안 되는 것도 날려보고 했었어요. 메인테이너들은 이상한 PR을 날려도 이 사람이 굳이 자기 시간을 들여 무언가를 개선하기 위해 노력했다는 점을 고마워해요. 메인테이너들이 그런 사람들에게 자신의 시간을 조금 투자해 댓글로 피드백을 주고, 피드백을 바탕으로 코드가 수정되면 본인들 입장에서도 새로운 피쳐가 하나 추가되니 상호 좋은 일이거든요. 서로 배우고 도움받는 관계가 형성될 수 있어요.   코딩을 어떻게 해야 하는 건지, 다른 사람과 어떻게 함께 협업할 수 있는지를 배워볼 수 있는 가장 쉽고 빠른 그러면서 유익한 방법이라 저는 정말 권장해 드려요.     AI 리서처에게 중요한 것 3가지: 꾸준함, 끈기, 의지   Q. 다음 질문들은 근우님의 직무와 관련해서 좀 더 깊이 있게 여쭤볼게요. 앞서 두 회사에서 리서처로 근무하셨기도 하고, 많은 리서처 분들을 봐오셨을 텐데 리서처로 가져야 할 덕목이나 특성이 있다면 어떤 것들을 손꼽으실까요?   K. 전 세 가지가 먼저 생각나네요 - 꾸준함, 끈기, 빠르게 잘 배우려는 의지! 회사에서는 프로덕트를 만들기 위해 연구하게 되잖아요? 세상에 없던 것을 만들다 보면 우리가 따라 할 수 있는 레퍼런스를 찾기가 어려워요. 그런 연구를 이전부터 오래 해왔던 빅테크 회사의 경우는 이미 축적된 경험이 많기에 본인이 맡은 작은 일부분만 하더라도 누군가가 그걸 필요로 하고, 사용되는 걸 지켜볼 수 있어요. 오히려 린하게 움직이는 스타트업들은 더 어려운 문제를 풀어내야 하는 경우가 많아요.   그런 의미에서 스타트업에 있는 리서처들은 논문 중심으로 생각하는 버릇을 놓아야 해요. 어떤 특정한 상황에서의 문제를 풀 때 이런 방법을 써봤더니 기존보다 더 잘 풀 수 있다가 일반적인 논문의 요지예요. 그런데 회사에서 전체 프로덕트를 만드는 논리적인 과정에서 그건 아주 극히 일부분일 뿐이에요. 그런데 논문만 보다 보면 논문에 나와 있는 것만 해보고, 연구와 논문을 동일시하고, 내 연구도 논문 같아야 한다고 생각할 때가 있어요. 예를 들면 나는 연구하려고 왔는데 왜 다른 것만 시키냐고 말하는 분들도 있어요. 논문 저자들도 논문을 쓰기 위해서 다양한 밑 작업들을 했고, 그건 그냥 논문에 드러나지 않았을 뿐이에요. 혹은 뭐 존재하는 데이터셋을 가져다 썼을 수도 있어요.   하지만 저희가 하는 일은 다르잖아요. 저희는 데이터셋을 처음부터 모아야 할 수도 있어요. 우리는 질문의 존재를 깨달아야 하고 그 질문에 답변하기 위해 여러 가지를 고민해봐야 해요. 이런 과정은 논문에서는 생략되어 보일 수도 있죠. 그렇다고 해서 연구라는 게 항상 새로운 것을 고안하는 건 아니에요. 새로운 것이라는 의미는 논문 기준으로 학계에서 새롭게 느껴지는 것을 말해요. 그렇게 연구를 정의할 수도 있지만 회사에서의 연구는 좀 더 광의적 의미를 내포하고 있어요. 그리고 회사에서 문제를 푸는 리서처라면 회사에서의 연구와 학계에서의 연구가 다르다는 점을 인정해야 해요.   그렇기에 다양한 각도에서 여러 요구사항을 계산해 가며 답을 찾아가는 여정을 견뎌내야 해요. 한순간에 유레카! 하고 무언가를 발견하는 일은 잘 없어요. 꾸준하게, 끈기를 가져나가며 많은 시도를 해보고, 그 시도를 통한 경험을 바탕으로 빠르게 배워나가면 어느새 질적으로 엄청나게 성장한 본인을 느낄 수가 있습니다.     Q. 근우님께서 보시기에 리서처와 다른 직군을 비교했을 때 두드러지는 점이 있나요?   K. 저를 포함해서이지만 음… 말을 잘 안 듣는다?(웃음) 가령 개발자분들의 경우 코딩 컨벤션 등을 가지고 협업할 때 논쟁이 있기도 하잖아요. 그럼 그분들은 규칙이 정해지면 그 규칙에 따라 작업을 해요. 반면 리서처들은 본인이 관심이 없는 내용이나 분야는 아예 신경 쓰지 않는 것 같아요. 저도 몇 번 동료 리서처들에게 “제발 이렇게 좀 하자”, “너희가 쓴 코드 뭔지 못 알아보겠다!” 하며 주석처리나 가독성 있는 코드를 요청했지만, 실패로 돌아갔죠. 리서처들은 하고 싶은 게 많고, 그와 동시에 명확해요. 본인의 리소스를 최적으로 사용하는 것을 좋아하기에 본인이 불필요하다고 느끼면 습관을 바꾸지 않더라고요.    근우가 바라보는 AI 산업의 미래    Q. 앞으로 AI 분야 내에서 차별점을 만들어 내는 요소는 무엇이 될 거로 생각하시나요? 어떤 점이 가장 근본적인 수준 차이를 만들어 낼까요?   K. 일단 기술력은 모든 회사가 6개월 이상 차이가 나지 않는다고 봐요. 정확히는 차이를 낼 수가 없어요. 그래서 끝없는 경쟁일 수밖에 없어요. 기술 격차를 몇 년 이상 내는 것은 불가능하고, 딱히 유의미하다고 보지도 않아요. 가장 빨리 프로덕트를 디자인해서 만들어 내는 게 더 중요한 것 같아요. 서비스 잘 만들고, 유저를 가장 먼저 확보하는 게 성공의 요인이라고 봅니다.   리서치에 대해서 잘 알고 있어야 그런 프로덕트를 만들어 낼 수도 있겠지만 제 개인적인 생각으로는 기술의 발전이 기하급수적으로 빨라지면서 최근에는 존재하는 기술의 발전 속도가 만들어낼 수 있는 프로덕트의 속도를 넘어선 것 같아요. 다시 말해서 지금 존재하는 기술을 바탕으로 너무 많은 프로덕트를 만들어 낼 수 있는 세상에 우리는 살고 있어요. 한 6~7년 전 알파고 붐이 불 때 많은 AI 연구를 하시던 분이 새로운 서비스를 만들어내고 투자도 많이 받았어요. 그때는 많은 회사가 비전으로 삼았던 수준만큼의 제품을 만들어 내지를 못했어요. 기대 수준과 기술의 격차가 있었으니까요.   그런데 요즘은 그 격차가 반대로 된 것 같아요. 이 중 무엇을 갖고 만들어야 사람들이 좋아할까?라는 관점으로 답을 찾는 문제로 바뀌었다고 생각합니다.     Q. 말씀하신 만큼 빠르게 발전하는 AI인데요, 근우님은 AI 분야의 최신 동향을 주로 어떻게 파악하시나요? 근우님만의 팁이 있다면요?   K. 우선 저는 트위터에서 많은 정보를 얻고 있어요. 트위터야말로 학회의 메타버스라고 느껴요. 트위터에서 논문 출판과 관련된 대다수 정보를 알 수 있고, 학회의 경우에는 프로시딩이 나오면 들어가서 키워드를 보거나 음악과 관련된 학회라면 아예 제목을 쭉 다 보고 있어요. 트위터를 특히 연구용으로 많이 팔로우하고 있어요. 뉴스레터는 언젠가부터 안 보게 되네요.   사실 트위터라는 채널이 익숙하지 않은 분들도 계시고, 언어 장벽을 느끼실 수도 있을 것 같긴 해요. 하지만 그런 어려움을 극복할만한 가치가 있다고 느껴요. 오랜만에 한국 회사로 오게 되었고, 회사 내부 채널 중 새로운 정보나 논문, 기술, 서비스 등을 공유할 수 있는 곳이 있어요. 그런데 보니까 제가 공유하는 모든 연구 정보가 영어 소스더라구요. 다른 분들은 습관적으로 기사나 그런 글들을 보실 때 한국어로 된 정보를 선호하더라고요.   그런데 신문 기사의 경우 퀄리티 차이가 정말 심해요. 시간상으로 딜레이 되는 문제도 있지만, 대부분 그냥 외국에서 조회수가 높은 혹은 유명한 언론에서 올라온 테크 관련 기사를 그냥 요약, 번역 수준으로 재배포하는 것 같아요. 그러다 보니 1) 기사를 고르는 실력 2) 요약하는 실력에 따라 정보의 손실이 엄청나다고 생각해요. 포지션에 따라 다르겠지만 연구하는 분들의 경우 영어 소스로 최대한 보시는 게 좋을 것 같아요. 저는 그럴만한 가치가 있다고 봅니다.     Q. 근우님 개인의 5년 후를 그려보신다면 어떤 모습일 것 같으세요?   K. 저는 일단 가장 큰 고민은 언제까지 오디오 분야에 있을 수 있을까예요. 이게 저에게는 안락함을 주는 comfort zone이지만 그와 동시에 산업의 성장 속도가 제 생각보다 너무 더디기에 고민이 되는 부분이죠. 다만 지금까지 너무 사랑하고 애정을 쏟은 분야기에 계속하고 있어요. 앞으로의 5년은 제가 걸어온 이 도메인을 언제까지 더 할 수 있을까에 대한 답을 찾는 과정이지 않을까요? 저만의 것을 만들고 싶은 욕심도 있지만 이것도 가능성으로 우선은 열어두려고요.   내가 뭘 원하고, 뭘 좋아하는지, 내 시간을 어떻게 쓸지, 삶을 어떻게 살지에 대한 문제에 가깝네요. 5년은 정말 잘 모르겠어요. 그래도 많은 걸 계속해서 배우고 싶어요.

2023.04.04