새 환경을 배워도 옛 경험을 잊지 않는 학습 연구
진화로 만든 전문가를 모아 두고 상황에 맞게 꺼내 쓴다

연구진은 환경마다 잘하는 작은 신경망 '전문가'를 진화 방식으로 만들어 보관해 두고, 상황이 바뀌면 알맞은 것을 꺼내 쓰는 구조를 내놓았다고 밝혔다. 막대 세우기 과제인 카트폴(CartPole)에서 이 구조는 시험 환경 다섯 곳의 평균 성공률 83.2%를 기록했다.
지금까지
강화학습은 AI가 시행착오를 거듭하며 잘하는 방법을 스스로 찾아내는 학습 방식이다. 다만 환경이 바뀌어 새 조건에 적응하면 앞서 배운 조건에서의 실력이 떨어지는 '파국적 망각'이 오래된 숙제였다. 그래서 바뀌는 환경에 적응하면서도 이전 실력을 지키는 '지속 강화학습'이 중요한 연구 주제가 되어 왔다.
AI 시대에는
연구진이 제안한 '진화 신경가소성 에이전트'(Evolutionary Neuroplastic Agent, ENA)는 기울기(오차를 줄일 방향을 계산하는 방식) 없이 작은 신경망을 진화시키고, 감지한 환경의 움직임 규칙별로 쓸 만한 행동 방식을 보관한 뒤 베이즈 정책 재사용이라는 방법으로 꺼내 쓴다. 연구진에 따르면 30회 반복한 카트폴 비교 실험에서 전체 구조는 어려운 환경을 학습한 변형 가운데 실력 유지가 가장 일관됐고, 보관한 것을 고르는 규칙에 따라 성능이 달라지기도 했다. 반면 이 방식은 카트폴에서 널리 쓰이는 강화학습 방식 PPO보다 적응이 느렸고, 치타 모양 로봇을 달리게 하는 과제인 하프치타(HalfCheetah)에서는 SAC보다 보상이 낮았다. 연구진은 이 결과가 구조 전체에 대한 것이며, 기울기를 쓰지 않아서 실력이 유지됐다고 가려내지는 못했고 다른 지속 학습 방법보다 낫다고 입증한 것도 아니라고 밝혔다. 이 글은 동료 심사를 거치기 전에 공개된 논문의 초록이므로 결과는 이후 검증이 필요하다.
지금 해 볼 것
- 무료로 공개된 카트폴 실습 환경에서 막대를 세우는 간단한 프로그램을 직접 만들어 보고, 환경 조건을 바꾸면 성능이 어떻게 달라지는지 확인해 본다.
- 논문 초록의 마지막 문장을 읽고, 연구진이 주장하는 것과 주장하지 않는 것을 각각 한 줄로 정리해 본다.
원문에서 확인한 사실
- 이 글은 사전 공개 논문 초록이며 저자는 Blas Eugenio Vicco Zarate와 Miguel Hernán Vicco다.
- ENA는 기울기 없이 작은 신경망을 진화시키고, 감지한 환경 조건별로 선택한 정책을 보관하며 베이즈 정책 재사용으로 꺼내 쓴다.
- 구조는 환경이 계속 바뀌는 카트폴과 하프치타에서 평가됐다.
- 30회 반복한 카트폴 비교 실험에서 전체 구조는 시험 환경 다섯 곳의 평균 성공률 83.2%를 기록했다.
- 어려운 카트폴 환경을 학습한 변형 가운데 전체 구조가 실력 유지가 가장 일관됐고, 정책을 고르는 규칙도 성능에 영향을 줬다.
- 평가한 순서에서 ENA는 카트폴에서 PPO보다 적응이 느렸고 하프치타에서 SAC보다 보상이 낮았다.
이 기사는 쎈프레스 편집국이 공개된 원문을 바탕으로 정리했습니다. 원문에 없는 내용은 싣지 않는 것을 원칙으로 하며, 틀린 곳은 010-8114-3468로 알려 주시면 바로 고칩니다.



