배치 경사 하강법1 경사 하강법(Gradient Descent) 목차 정의 손실 함수를 최소화하는 모델의 파라미터를 찾기 위해, 최적화(Optimization) 알고리즘을 사용합니다. 경사 하강법(Gradient Descent)은 최적화 알고리즘 중에 대표적인 방법입니다. 손실 함수의 Gradient(미분값)을 사용하여 파라미터를 반복적으로 업데이트를 진행합니다. 경사 하강법을 진행하기 위해서는 손실 함수가 볼록(Convex)해야 전역 최솟값(Global Minima)에 손쉽게 찾아갈 수 있습니다. 비볼록(Non-Convex) 함수에서 경사 하강법은 지역 최솟값(Local Minima) 등에 갇힐 위험이 있습니다. 로지스틱 회귀에서 MSE loss를 사용하지 않고, Binary Cross Entropy(=BCE)를 사용하는 이유도 Convex 하게 만들어주기 위함입니.. 2023. 9. 28. 이전 1 다음
