창간 준비호

라이브 공연 곡목, AI가 음원과 맞춰 찾는다

작은 임베딩으로 저장 공간 4분의 1, 성능은 더 좋았다

쎈프레스 편집국읽는 데 2분
라이브 공연 곡목, AI가 음원과 맞춰 찾는다

공연 녹음을 듣고 어떤 곡이 연주됐는지 자동으로 찾는 '셋리스트 식별' 방식들을 비교한 논문이 공개됐다. 연구진은 256차원 임베딩을 쓰는 NAVE가 1024차원인 CLEWS보다 저장 공간을 4분의 1로 줄이면서 더 나은 검색 성능을 냈다고 밝혔다.

지금까지

라이브 공연의 곡 목록은 그동안 사람이 직접 들으면서 정리하는 경우가 많았다. 같은 곡의 다른 버전을 찾는 '음악 버전 식별' 기술은 있었지만, 공연 녹음은 이를 그대로 적용하기 어렵다. 스튜디오 음원과 편곡이 크게 다르고 배경 소음이 섞이며, 녹음 품질도 제각각이기 때문이다.

AI 시대에는

연구진은 ASID 벤치마크에서 기존 시스템 Re-MOVE(Re-MOVE)와 CLEWS, 내부 신경망 모델 NAVE를 비교했고, NAVE와 CLEWS가 Re-MOVE를 크게 앞섰다고 밝혔다. NAVE는 256차원 임베딩을 써서 1024차원인 CLEWS보다 임베딩 저장 용량이 4분의 1이면서 검색 성능은 더 좋았다고 한다. 음악과 음악이 아닌 구간을 가르는 전처리(게이팅)는 검출과 시간 범위에서 소폭 개선을 보였고, 연구진은 이 전처리가 곡이 바뀌는 경계 인식을 더 낫게 할 수 있다고 정성 분석에서 짚었다. 연구진은 작은 표현으로도 실제 공연 환경에서 높은 정확도를 낼 수 있어 저장과 서비스 비용을 크게 줄일 수 있다고 주장한다. 다만 이 논문은 동료 심사를 거치기 전에 공개된 사전 공개 논문이며, 결과는 연구진이 직접 평가한 것이다.

지금 해 볼 것

  • 좋아하는 공연 영상 하나를 골라 곡 순서를 직접 적어 보고, 스튜디오 음원과 편곡이 어떻게 다른지 귀로 비교해 본다.
  • 개발자라면 임베딩 차원이 256일 때와 1024일 때 저장 용량이 어떻게 달라지는지 자신의 데이터 규모로 계산해 본다.

원문에서 확인한 사실

  • 논문의 저자는 Andres Ferraro와 Albin Correya이며, 동료 심사 전 사전 공개 논문이다.
  • 자동 셋리스트 식별은 잡음이 많고 품질이 제각각인 공연 녹음을 참조 음원 데이터베이스와 맞춰 연주된 곡을 찾는 과제다.
  • 이 과제는 편곡 차이, 배경 소음, 긴 녹음을 대규모로 효율적으로 처리해야 한다는 점에서 기존 음악 버전 식별보다 어렵다.
  • 연구진은 ASID 벤치마크로 Re-MOVE, CLEWS, 내부 모델 NAVE를 비교했다.
  • NAVE와 CLEWS는 Re-MOVE보다 성능이 크게 높았다.
  • NAVE는 256차원, CLEWS는 1024차원 임베딩을 써서 NAVE의 임베딩 저장 용량이 4분의 1이다.
#셋리스트#음악 검색#임베딩#라이브 공연

이 기사는 쎈프레스 편집국이 공개된 원문을 바탕으로 정리했습니다. 원문에 없는 내용은 싣지 않는 것을 원칙으로 하며, 틀린 곳은 010-8114-3468로 알려 주시면 바로 고칩니다.

넘겨 보기로 이어 보기

이어서 읽기