EWC(Elastic Weight Consolidation)

[방송기술용어] EWC(Elastic Weight Consolidation)

2689

[방송기술저널 전숙희 기자] 올해 초 구글 딥마인드는 ‘Overcoming catastrophic forgetting in neural networks(신경망의 파괴적 망각을 극복하다)’라는 제목의 개발 결과를 발표했다.

인공지능(AI)은 인간의 뇌에서 신경 세포가 정보를 전달하기 위해 상호 연결되는 방식을 모방한 신경망(neural networks)을 일반적으로 사용한다. 이 신경망은 적응하고 학습해 특정 업무를 해결에 최적화하지만, 새로운 업무가 주어지면 이를 모두 지우고 처음부터 다시 적응하고 학습한다. 즉 알고 있는 것을 새로운 문제에 재사용하는 전이 학습(transfer learning)이 불가능한 것으로, 이 ‘파괴적 망각(catastrophic forgetting)’은 머신러닝의 근본적 한계로 여겨져 왔다.

딥마인드의 발표는 이 파괴적 망각을 극복하고 AI의 전이 학습을 가능케 하는 새로운 알고리즘, EWC(Elastic Weight Consolidation)을 개발했다는 것이다. 이는 신경망에 특정 업무와 관련한 신경망 간의 연결이 아주 중요하다고 지정해, 이를 보호하면서 새 업무를 해결할 수 있는 연결을 찾는 형태라고 한다. 딥마인드는 EWC를 통해 파괴적 망각이 해결할 수 없는 문제가 아님을 보여줬다며 이번 연구 결과가 보다 유연하고 효율적인 머신러닝을 위한 일보가 되길 바란다고 밝혔다.