머신러닝 딥러닝 최적화 알고리즘 경사 하강법(Gradient Descent), SGD, 미니배치 Optimizer 옵티마이저

 

머신러닝 딥러닝 최적화 알고리즘인 경사 하강법에 대해 알아보자. 

 

 

I. 경사 하강법(Gradient Descent)

 

경사 하강법(Gradient Descent)은 머신 러닝에서 가장 기본적인 최적화 알고리즘 중 하나입니다. 모델의 학습을 위해 사용되며, 모델의 파라미터를 조정하여 손실 함수(Loss Function) 값을 최소화하는 방향으로 업데이트합니다. 아래는 경사 하강법의 단계별 설명입니다.

 

1. 손실 함수 정의

모델의 예측 값과 실제 값 사이의 차이를 계산하는 함수입니다. 이 함수의 값이 작아지도록 모델 파라미터를 업데이트합니다.

 

2. 초기 파라미터 설정

모델 파라미터를 임의의 값으로 초기화합니다.

 

3. 그래디언트(기울기) 계산

현재 모델 파라미터에서 손실 함수의 기울기(gradient)를 계산합니다. 기울기는 모델 파라미터가 어떤 방향으로 움직여야 손실 함수 값을 줄일 수 있는지를 나타냅니다.

 

4. 파라미터 업데이트

현재 모델 파라미터에서 계산된 기울기를 이용하여 파라미터를 업데이트합니다. 경사 하강법은 손실 함수 값이 줄어들도록 파라미터를 업데이트합니다. 업데이트 방식은 학습률(learning rate)과 같은 하이퍼파라미터에 의해 결정됩니다.

 

5. 종료 조건 확인

일정한 반복 횟수나 손실 함수 값이 더 이상 줄어들지 않을 때까지 위의 과정을 반복합니다.

 

 

위와 같은 과정을 통해 경사 하강법은 최적의 모델 파라미터를 찾아냅니다. 최적화 과정에서는 일반적으로 배치 경사 하강법(Batch Gradient Descent)과 같은 방법 외에도 확률적 경사 하강법(Stochastic Gradient Descent)과 미니배치 경사 하강법(Mini-batch Gradient Descent)과 같은 방법들이 사용됩니다.

 

배치 경사 하강법은 전체 데이터셋에 대한 기울기를 계산하므로, 계산 비용이 매우 높아질 수 있습니다. 따라서 대규모 데이터셋에서는 계산 비용이 높아지는 단점이 있습니다. 또한, 전체 데이터셋을 한 번에 처리하므로, 지역 최소값(local minimum)에서 탈출하는 것이 어려울 수 있습니다. 이러한 단점을 보완하기 위해, 확률적 경사 하강법(Stochastic Gradient Descent)과 미니배치 경사 하강법(Mini-batch Gradient Descent)과 같은 방법들이 사용됩니다.

 

 

 

 

 

II. 확률적 경사 하강법(Stochastic Gradient Descent)

 

 

확률적 경사 하강법(Stochastic Gradient Descent, SGD)은 배치 경사 하강법의 단점을 보완하기 위해 개발된 경사 하강법 알고리즘입니다. 이는 각 학습 단계에서 랜덤하게 선택된 하나의 샘플에 대한 그래디언트(기울기)를 계산하여 파라미터를 업데이트합니다. 이를 통해 모델 학습 속도를 빠르게 하면서도 메모리 사용량과 계산 비용을 감소시킬 수 있습니다.

 

 

아래는 확률적 경사 하강법의 단계별 설명입니다.

 

1. 손실 함수 정의

모델의 예측 값과 실제 값 사이의 차이를 계산하는 함수입니다. 이 함수의 값이 작아지도록 모델 파라미터를 업데이트합니다.

 

2. 초기 파라미터 설정

모델 파라미터를 임의의 값으로 초기화합니다.

 

3. 데이터셋 셔플링

SGD는 랜덤하게 선택된 샘플에 대한 그래디언트를 계산하므로, 데이터셋을 랜덤하게 셔플링합니다.

 

4. 샘플 선택

랜덤하게 선택된 하나의 샘플을 사용하여 그래디언트를 계산합니다.

 

5. 그래디언트(기울기) 계산

선택된 샘플에 대한 손실 함수의 기울기(gradient)를 계산합니다.

 

6. 파라미터 업데이트

현재 모델 파라미터에서 계산된 샘플의 기울기를 이용하여 파라미터를 업데이트합니다. 경사 하강법은 손실 함수 값이 줄어들도록 파라미터를 업데이트합니다. 업데이트 방식은 학습률(learning rate)과 같은 하이퍼파라미터에 의해 결정됩니다.

 

7. 종료 조건 확인

일정한 반복 횟수나 손실 함수 값이 더 이상 줄어들지 않을 때까지 위의 과정을 반복합니다.

 

 

확률적 경사 하강법은 SGD가 매 단계마다 샘플을 선택하여 그래디언트를 계산하므로, 전체 데이터셋에 대한 그래디언트를 계산하는 배치 경사 하강법보다 계산 비용이 적습니다. 또한, SGD는 지역 최소값(local minimum)에서 탈출하는데 용이하며, 불규칙한 비용 함수(non-convex cost function)에서도 잘 작동합니다. 그러나 SGD의 단점으로는 수렴 속도가 느리며, 노이즈가 많은 데이터에 대해 예측 결과가 불안정해질 수 있습니다. 이러한 문제를 완화하기 위해 미니배치 확률적 경사 하강법(mini-batch stochastic gradient descent)이나 모멘텀(momentum) 기법 등이 사용됩니다.

 

 

 

III. 미니배치 확률적 경사 하강법(mini-batch stochastic gradient descent)

 

미니배치 확률적 경사 하강법(mini-batch stochastic gradient descent)은 SGD와 배치 경사 하강법의 장점을 결합한 알고리즘입니다.이 방법은 전체 데이터셋을 사용하는 배치 경사 하강법보다 빠르고 SGD보다 안정적인 경사 하강법 알고리즘이며, 대규모 데이터셋에서 가장 많이 사용되는 경사 하강법 알고리즘 중 하나입니다.

 

미니배치 확률적 경사 하강법은 전체 데이터셋을 작은 일부분으로 나눈 미니배치(mini-batch)를 사용합니다. 이 미니배치에서 목적 함수를 계산하고, 그래디언트(gradient)를 구합니다. 그런 다음, 구한 그래디언트를 사용하여 가중치를 업데이트합니다. 미니배치 확률적 경사 하강법에서는 미니배치 크기를 설정해야 합니다. 이 미니배치 크기는 하이퍼파라미터이며, 보통 32, 64, 128, 256 등의 값이 사용됩니다. 미니배치 크기가 작을수록 학습 속도가 빨라지지만, 일정 크기 이상으로 설정할 경우 메모리 문제가 발생할 수 있습니다.

 

미니배치 확률적 경사 하강법의 과정은 다음과 같습니다.

 

1. 초기 가중치 설정

모델의 가중치를 초기화합니다.

 

2. 미니배치 선택

전체 데이터셋에서 임의의 미니배치를 선택합니다.

 

3. 순전파(forward propagation)

선택한 미니배치를 모델에 입력하여 예측값을 계산합니다.

 

4. 손실 함수 계산

예측값과 실제값 사이의 차이인 손실 함수(loss function)를 계산합니다.

 

5. 역전파(backward propagation)

손실 함수의 그래디언트(gradient)를 계산합니다.

 

6. 가중치 업데이트

계산한 그래디언트를 사용하여 가중치를 업데이트합니다.

 

7. 2-6단계를 반복

전체 데이터셋을 모두 사용할 때까지 2-6단계를 반복합니다.

 

 

미니배치 확률적 경사 하강법은 SGD와 배치 경사 하강법의 장점을 결합하였기 때문에, 수렴 속도가 빠르면서도 안정적인 결과를 얻을 수 있습니다.