창간 준비호

소리 속 단서를 스스로 찾는 인공지능 연구

음성·소리·음악 판단에서 정확도가 높아졌다고 연구진은 밝혔다

쎈프레스 편집국읽는 데 2분
소리 속 단서를 스스로 찾는 인공지능 연구

연구진이 소리를 듣는 인공지능이 판단의 근거가 되는 단서를 직접 찾도록 가르치는 틀 '싱크투리슨(Think2Listen)'을 내놓았다. 연구진은 두 가지 시험 자료에서 기존 방식보다 정확도가 높았다고 밝혔다.

지금까지

그동안 소리를 다루는 인공지능은 말, 주변 소리, 음악을 알아듣는 일에 주로 힘썼다. 정해진 소리 분석 도구를 불러 쓰는 방식도 쓰였다. 하지만 무엇이 들리는지 아는 것과, 헷갈리는 판단을 가를 단서를 골라내는 것은 다른 문제로 남아 있었다.

AI 시대에는

이번 글은 동료 심사를 거치기 전에 공개된 사전 공개 논문의 초록이며, 내용은 연구진의 주장이다. 연구진은 소리와 글을 함께 다루는 큰 인공지능 모델(LALM)이 들리는 내용을 인식하는 것만으로는 어떤 단서가 판단을 갈라 주는지 알기 어렵다고 짚었다. 이를 풀기 위해 만든 싱크투리슨은 여러 후보 판단을 놓고 단서를 가려 줄 질문을 소리 모델에 던진다. 돌아온 관찰 결과로 후보 판단을 고쳐 나간다. 무엇을 물을지, 근거를 어떻게 쓸지, 언제 멈출지를 배우도록 했다는 설명이다. 연구진에 따르면 일곱 가지 소리 범주를 다룬 두 시험 자료에서 여러 단계 추론의 전체 정확도가 경쟁 방식보다 5.08%에서 17.67% 높았고, 기준 모델보다는 2.29%에서 13.10% 높았다.

지금 해 볼 것

  • 소리를 인공지능에 물을 때 '무슨 소리인지'만 묻지 말고 '그렇게 판단한 근거가 무엇인지'도 함께 물어 답이 어떻게 달라지는지 비교해 본다.
  • 개발에 관심이 있다면 논문에 안내된 공개 소스 코드 페이지를 열어 어떤 순서로 질문하고 판단을 고치는지 살펴본다.
  • 헷갈리는 소리나 음악을 들을 때 내 판단을 가른 단서를 한두 줄로 적어 보고, 인공지능이 내놓은 근거와 견주어 본다.

원문에서 확인한 사실

  • 싱크투리슨은 소리를 이해하는 인공지능 에이전트를 위해 근거를 중심에 둔 학습 틀이다.
  • 경쟁하는 판단 가운데 무엇이 맞는지 가려 줄 소리 단서를 찾도록 모델에 질문하고, 돌아온 관찰로 후보 판단을 고친다.
  • 무엇을 물을지, 근거를 어떻게 쓸지, 언제 멈출지를 배우며 관찰 뒤 후보 상태가 바뀐 정도를 학습 보상에 반영한다.
  • 일곱 가지 소리 범주를 아우르는 두 시험 자료에서 평가했다.
  • 여러 단계 소리 추론의 전체 정확도가 경쟁 오디오 에이전트보다 5.08%에서 17.67% 높았다고 연구진은 밝혔다.
  • 음성·소리·음악 전반에서 기준 모델보다 전체 정확도가 2.29%에서 13.10% 올랐다고 한다.
  • 소스 코드는 깃허브(GitHub)에 공개돼 있다.
#소리 이해#오디오 인공지능#에이전트#사전 공개 논문

이 기사는 쎈프레스 편집국이 공개된 원문을 바탕으로 정리했습니다. 원문에 없는 내용은 싣지 않는 것을 원칙으로 하며, 틀린 곳은 010-8114-3468로 알려 주시면 바로 고칩니다.

넘겨 보기로 이어 보기

이어서 읽기