창간 준비호

새 환경을 배워도 옛 경험을 잊지 않는 학습 연구

진화로 만든 전문가를 모아 두고 상황에 맞게 꺼내 쓴다

쎈프레스 편집국읽는 데 2분
새 환경을 배워도 옛 경험을 잊지 않는 학습 연구

연구진은 환경마다 잘하는 작은 신경망 '전문가'를 진화 방식으로 만들어 보관해 두고, 상황이 바뀌면 알맞은 것을 꺼내 쓰는 구조를 내놓았다고 밝혔다. 막대 세우기 과제인 카트폴(CartPole)에서 이 구조는 시험 환경 다섯 곳의 평균 성공률 83.2%를 기록했다.

지금까지

강화학습은 AI가 시행착오를 거듭하며 잘하는 방법을 스스로 찾아내는 학습 방식이다. 다만 환경이 바뀌어 새 조건에 적응하면 앞서 배운 조건에서의 실력이 떨어지는 '파국적 망각'이 오래된 숙제였다. 그래서 바뀌는 환경에 적응하면서도 이전 실력을 지키는 '지속 강화학습'이 중요한 연구 주제가 되어 왔다.

AI 시대에는

연구진이 제안한 '진화 신경가소성 에이전트'(Evolutionary Neuroplastic Agent, ENA)는 기울기(오차를 줄일 방향을 계산하는 방식) 없이 작은 신경망을 진화시키고, 감지한 환경의 움직임 규칙별로 쓸 만한 행동 방식을 보관한 뒤 베이즈 정책 재사용이라는 방법으로 꺼내 쓴다. 연구진에 따르면 30회 반복한 카트폴 비교 실험에서 전체 구조는 어려운 환경을 학습한 변형 가운데 실력 유지가 가장 일관됐고, 보관한 것을 고르는 규칙에 따라 성능이 달라지기도 했다. 반면 이 방식은 카트폴에서 널리 쓰이는 강화학습 방식 PPO보다 적응이 느렸고, 치타 모양 로봇을 달리게 하는 과제인 하프치타(HalfCheetah)에서는 SAC보다 보상이 낮았다. 연구진은 이 결과가 구조 전체에 대한 것이며, 기울기를 쓰지 않아서 실력이 유지됐다고 가려내지는 못했고 다른 지속 학습 방법보다 낫다고 입증한 것도 아니라고 밝혔다. 이 글은 동료 심사를 거치기 전에 공개된 논문의 초록이므로 결과는 이후 검증이 필요하다.

지금 해 볼 것

  • 무료로 공개된 카트폴 실습 환경에서 막대를 세우는 간단한 프로그램을 직접 만들어 보고, 환경 조건을 바꾸면 성능이 어떻게 달라지는지 확인해 본다.
  • 논문 초록의 마지막 문장을 읽고, 연구진이 주장하는 것과 주장하지 않는 것을 각각 한 줄로 정리해 본다.

원문에서 확인한 사실

  • 이 글은 사전 공개 논문 초록이며 저자는 Blas Eugenio Vicco Zarate와 Miguel Hernán Vicco다.
  • ENA는 기울기 없이 작은 신경망을 진화시키고, 감지한 환경 조건별로 선택한 정책을 보관하며 베이즈 정책 재사용으로 꺼내 쓴다.
  • 구조는 환경이 계속 바뀌는 카트폴과 하프치타에서 평가됐다.
  • 30회 반복한 카트폴 비교 실험에서 전체 구조는 시험 환경 다섯 곳의 평균 성공률 83.2%를 기록했다.
  • 어려운 카트폴 환경을 학습한 변형 가운데 전체 구조가 실력 유지가 가장 일관됐고, 정책을 고르는 규칙도 성능에 영향을 줬다.
  • 평가한 순서에서 ENA는 카트폴에서 PPO보다 적응이 느렸고 하프치타에서 SAC보다 보상이 낮았다.
#지속 강화학습#파국적 망각#진화 탐색#사전 공개 논문

이 기사는 쎈프레스 편집국이 공개된 원문을 바탕으로 정리했습니다. 원문에 없는 내용은 싣지 않는 것을 원칙으로 하며, 틀린 곳은 010-8114-3468로 알려 주시면 바로 고칩니다.

넘겨 보기로 이어 보기

이어서 읽기

과학

대칭 분자도 구별하는 빠른 원자 예측 방식

연구진이 분자 속 원자 배치를 컴퓨터가 더 정확히 구별하도록 하는 새 표현 방식을 내놓았다. 메탄 시뮬레이션 자료에서 기존 모델과 정확도는 비슷하고 예측은 3.2배 빠르다고 밝혔다.

과학

원자 힘 계산 인공지능 모델 일곱 종을 한 틀로

연구진이 원자 사이에 작용하는 힘을 배우는 인공지능 모델 일곱 종을 하나로 묶은 공개 소프트웨어 IANN(InterAtomic Neural Network)을 내놓았다. 모델마다 따로 갖춰야 했던 데이터 형식과 학습·시뮬레이션 연결 작업을 줄이는 것이 목표라고 연구진은 밝혔다.

과학

단백질 모델, 세밀하다고 항상 정확하진 않다

연구진이 단백질을 단순하게 줄여 나타내는 기계학습 모델에서, 줄이는 방식을 일곱 가지로 바꿔 가며 정확도를 비교했다. 연구진은 세밀한 정도나 화학적 다양성이 정확도와 늘 맞물리지는 않는다고 밝혔다.

과학

얀-텔러 뒤틀림이 만든 부호 다른 키타예프 상호작용

연구진은 얀-텔러(Jahn-Teller) 뒤틀림을 이용하면 한 물질 안에서 부호가 다른 키타예프(Kitaev) 결합을 만들 수 있다고 제안했다. 제일원리 계산에서 단층 CrI2가 짧은 결합에는 반강자성, 긴 결합에는 강자성 키타예프 결합을 갖는 것으로 나왔다고 밝혔다.