
새 환경을 배워도 옛 경험을 잊지 않는 학습 연구
연구진은 환경마다 잘하는 작은 신경망 '전문가'를 진화 방식으로 만들어 보관해 두고, 상황이 바뀌면 알맞은 것을 꺼내 쓰는 구조를 내놓았다고 밝혔다. 막대 세우기 과제인 카트폴(CartPole)에서 이 구조는 시험 환경 다섯 곳의 평균 성공률 83.2%를 기록했다.
지금까지
강화학습은 AI가 시행착오를 거듭하며 잘하는 방법을 스스로 찾아내는 학습 방식이다. 다만 환경이 바뀌어 새 조건에 적응하면 앞서 배운 조건에서의 실력이 떨어지는 '파국적 망각'이 오래된 숙제였다. 그래서 바뀌는 환경에 적응하면서도 이전 실력을 지키는 '지속 강화학습'이 중요한 연구 주제가 되어 왔다.
AI 시대에는
연구진이 제안한 '진화 신경가소성 에이전트'(Evolutionary Neuroplastic Agent, ENA)는 기울기(오차를 줄일 방향을 계산하는 방식) 없이 작은 신경망을 진화시키고, 감지한 환경의 움직임 규칙별로 쓸 만한 행동 방식을 보관한 뒤 베이즈 정책 재사용이라는 방법으로 꺼내 쓴다. 연구진에 따르면 30회 반복한 카트폴 비교 실험에서 전체 구조는 어려운 환경을 학습한 변형 가운데 실력 유지가 가장 일관됐고, 보관한 것을 고르는 규칙에 따라 성능이 달라지기도 했다. 반면 이 방식은 카트폴에서 널리 쓰이는 강화학습 방식 PPO보다 적응이 느렸고, 치타 모양 로봇을 달리게 하는 과제인 하프치타(HalfCheetah)에서는 SAC보다 보상이 낮았다. 연구진은 이 결과가 구조 전체에 대한 것이며, 기울기를 쓰지 않아서 실력이 유지됐다고 가려내지는 못했고 다른 지속 학습 방법보다 낫다고 입증한 것도 아니라고 밝혔다. 이 글은 동료 심사를 거치기 전에 공개된 논문의 초록이므로 결과는 이후 검증이 필요하다.
지금 해 볼 것
- 무료로 공개된 카트폴 실습 환경에서 막대를 세우는 간단한 프로그램을 직접 만들어 보고, 환경 조건을 바꾸면 성능이 어떻게 달라지는지 확인해 본다.
- 논문 초록의 마지막 문장을 읽고, 연구진이 주장하는 것과 주장하지 않는 것을 각각 한 줄로 정리해 본다.






































