박자 맞추는 타악기 소리로 박자를 찾는 AI
음악 생성 AI가 만든 타악기 트랙에서 박자 위치를 뽑아냈다

연구진이 음악을 만드는 AI에 입력 곡과 박자가 맞는 타악기 소리를 만들게 한 뒤, 그 소리에서 박자 위치를 뽑아내는 방법을 시험했다. 연구진은 이 방법이 기존 최고 수준의 박자 추적 프로그램에 가까운 성능을 냈다고 밝혔다.
지금까지
박자 추적은 음악을 듣고 박자가 어디에 놓이는지 찾아내는 기술이다. 그동안은 곡을 분석해 박자의 위치를 표시해 주는 방식이 주로 쓰였다. 결과는 박자 위치를 나타내는 기록이었다.
AI 시대에는
연구진은 미리 학습된 음악 생성 모델 뮤직젠(MusicGen)에 입력 곡을 듣게 하는 부가 장치를 붙였다. 이 모델이 입력 곡과 박자가 맞는 타악기 트랙을 만들면, 거기서 박자 위치를 뽑아낸다. 연구진은 GTZAN이라는 음악 자료 모음으로 시험했더니 최고 수준의 박자 추적 프로그램에 가까운 성능이 나왔다고 밝혔다. 입력 곡에서 드럼 소리를 뺐을 때 박자를 맞힌 점수(F-measure)가 가장 적게 떨어졌다는 점도 강점으로 꼽았다. 메탈과 디스코 같은 일부 장르에서는 강한 소리에 속거나 약한 소리의 박자를 놓치는 일이 적었다고 한다. 다만 이 글은 동료 심사를 거치기 전에 미리 공개된 논문이어서 결과는 연구진의 주장이다.
지금 해 볼 것
- 좋아하는 노래 한 곡을 틀어 놓고 박자에 맞춰 손으로 두드려 보며, 드럼이 약한 곡에서는 박자를 잡기가 얼마나 어려운지 느껴 본다.
- 논문 초록을 읽고, 박자를 위치 기록이 아니라 들을 수 있는 타악기 소리로 내놓는다는 점이 음악 작업에 어떤 쓸모가 있을지 생각해 본다.
원문에서 확인한 사실
- 연구진은 미리 학습된 뮤직젠(MusicGen) 모델에 입력 곡을 듣게 하는 부가 장치를 붙여, 입력 곡과 박자가 맞는 타악기 트랙을 만들게 했다.
- 만들어진 타악기 트랙에서 박자 위치를 뽑아냈다.
- 리듬 복잡도가 다른 타악기 목표로 모델을 따로 학습시켰다.
- 다른 생성 모델 두 개, 기존 박자 추적 프로그램과 비교했다.
- GTZAN에서 최고 수준의 박자 추적 프로그램에 가까운 성능을 냈다고 연구진은 밝혔다.
- 추론 때 입력 곡에서 드럼을 뺐을 때 F-measure 하락 폭이 가장 작았다.
- 메탈과 디스코 같은 일부 장르에서는 강한 소리에 덜 속고 약한 소리의 박자를 덜 놓쳤다.
이 기사는 쎈프레스 편집국이 공개된 원문을 바탕으로 정리했습니다. 원문에 없는 내용은 싣지 않는 것을 원칙으로 하며, 틀린 곳은 010-8114-3468로 알려 주시면 바로 고칩니다.



