[DL Book] 8. Optimization for Deep Learning

딥러닝 알고리즘은 최적화(Optimization)와 깊은 연관이 있다. 머신러닝의 영역에서 최적화는 알고리즘을 구상하거나 수학적으로 증명하는 데 사용된다.

최적화가 이용되는 많은 곳들 중에서도 가장 난해한 작업은 뉴럴 네트워크를 학습시키는 것이다. 현대에 이르러서는 여러 대의 컴퓨터를 동원해 몇 개월에 걸쳐 딥러닝 학습을 진행하는 것은 쉽게 찾아볼 수 있다. 이렇듯 신경망 학습은 굉장히 중요하고 막대한 비용이 동원되기 때문에, 딥러닝에 특화된 최적화 기법이 발달하기에 이르렀다.

신경망 학습에 사용되는 이러한 최적화 기법들을 이번 챕터에서 살펴보도록 한다. 앞으로 마주할 내용은 크게 딥러닝 모델의 파라미터 $\theta$를 조절해, 그것에 관한 손실함수(Loss function) $J(\theta)$를 최소화하는 것을 목적으로 한다.

포스트가 마음에 드셨다면, 좋아요를 남겨주세요!