분류 전체보기152 경사 하강법(Gradient Descent) 목차 정의 손실 함수를 최소화하는 모델의 파라미터를 찾기 위해, 최적화(Optimization) 알고리즘을 사용합니다. 경사 하강법(Gradient Descent)은 최적화 알고리즘 중에 대표적인 방법입니다. 손실 함수의 Gradient(미분값)을 사용하여 파라미터를 반복적으로 업데이트를 진행합니다. 경사 하강법을 진행하기 위해서는 손실 함수가 볼록(Convex)해야 전역 최솟값(Global Minima)에 손쉽게 찾아갈 수 있습니다. 비볼록(Non-Convex) 함수에서 경사 하강법은 지역 최솟값(Local Minima) 등에 갇힐 위험이 있습니다. 로지스틱 회귀에서 MSE loss를 사용하지 않고, Binary Cross Entropy(=BCE)를 사용하는 이유도 Convex 하게 만들어주기 위함입니.. 2023. 9. 28. 손실 함수(Loss Function) 목차 정의 손실 함수는 모델의 예측값과 실제값이 얼마나 잘 일치하는지를 측정하는 함수입니다. 손실 함수의 값이 작을수록 모델의 예측이 정확하다고 볼 수 있습니다. 손실 함수를 최소화하는 모델의 파라미터를 찾는 것이 모델의 학습 과정의 핵심입니다. 선형 회귀나 로지스틱 회귀의 경우는 학습 데이터에 대해 손실함수가 최소화되는 w0, w1, w2, ..., wn 값을 찾는 것이 모델의 학습 과정입니다. 손실 함수를 최소화하는 모델의 파라미터를 찾기 위해 대표적으로 경사 하강법(Gradient Descent)이라는 최적화 (Optimization) 알고리즘을 사용합니다. 경사 하강법의 내용은 아래 내용을 참고해 주시길 바랍니다. https://comdon-ai.tistory.com/25 비용 함수라고도 말하는 .. 2023. 9. 28. 손실 함수(Loss function) vs 비용 함수(Cost function) 목차 손실 함수 vs 비용 함수 (Loss function vs Cost function) 손실 함수(Loss function)는 1개의 train sample에 대한 오차를 측정합니다. (즉, 모델의 예측 값과 실제 값 사이의 차이를 나타냅니다.) 비용 함수(Cost function)는 전체 train dataset에 대한 손실 함수의 평균이나 합계를 의미합니다. 위의 예시는 손실 함수에 대한 평균을 의미합니다. 만약, 비용 함수를 계산할때 평균이 아닌 합계로 계산하고 싶다면 pytorch의 경우 reduction을 'mean'이 아닌 'sum'으로 지정해 주면 됩니다. 2023. 9. 28. 로지스틱 회귀(Logistic Regression) 목차 로지스틱 회귀(Logistic Regression) 예시 로지스틱 회귀는 이진 분류(Binary Classificaiton)를 위한 알고리즘입니다. 이진 분류 예시 스팸 메일 분류 입력 : 이메일의 텍스트, 발신자 등의 정보 출력 : 스팸 또는 정상 메일 신용 카드 사기 탐지 입력 : 거래 정보, 계정 정보 등 출력 : 사기 거래 또는 정상 거래 환자 질병 예측 입력 : 환자의 연령, 혈압, 혈당 등의 의학적 측정치 출력 : 특정 질병의 유 무 고양이 이미지 분류 입력 : 이미지 출력 : 고양이 또는 다른 객체(고양이가 아님) 표기법 선형 회귀에 대해 데이터가 1개일 때와 m개일 때의 표기법을 살펴보도록 하겠습니다. (로지스틱 회귀의 경우 시그모이드 함수만 붙여주면 되기 때문에 표기법에는 별다른 차.. 2023. 9. 28. 이전 1 ··· 35 36 37 38 다음
