AI6 대표적인 Activation Function (Sigmoid, tanh, ReLU, Leaky ReLU, ELU, PReLU, Softplus, Swish) 목차 활성화 함수(Activation Function) 정의 활성화 함수(Activation Function)는 신경망에서 입력 신호의 결과에 비선형성을 추가해 변환하는 함수입니다. 활성화 함수는 신경망에 필수적인 비선형성을 추가해 주어서 신경망이 더 복잡한 문제를 풀 수 있게 해 줍니다. 활성화 함수가 비선형 함수여야 하는 이유 : https://comdon-ai.tistory.com/48 활성화 함수(Activation Function)이라고 말하는 이유는 특정 임계값을 넘어서는 신호를 받았을 때 활성화되어 신호를 전달하는 뇌의 뉴런처럼 신경망의 각 뉴런이 어떤 입력에 대해 활성화되어야 하는지를 결정하는 중요한 역할을 하기 때문에 활성화 함수라고 부릅니다. 활성화 함수(Activation Functi.. 2023. 11. 21. 신경망 기초 목차 신경망이란? 신경망(Neural Network)은 인공 지능과 기계 학습 분야에서 중요한 개념으로, 인간 뇌의 신경 세포(뉴런)의 동작을 모방하여 설계된 계산 모델입니다. 작동 방식: 신경망은 입력 데이터에 대해 일련의 계산을 수행합니다. 각 뉴런은 입력된 데이터에 대해 가중치를 곱하고, 편향(bias)을 더한 다음, 비선형 활성화 함수를 적용합니다. 이러한 과정을 통해 신경망은 입력 데이터의 특징을 학습합니다. 학습 과정: 신경망은 일반적으로 오류 역전파(Backpropagation)와 경사 하강법(Gradient Descent)을 사용하여 학습됩니다. 학습 과정에서는 신경망의 예측이 실제 값과 얼마나 차이가 있는지를 측정하고, 이 오차를 최소화하기 위해 네트워크의 가중치를 조정합니다. 신경망 종.. 2023. 11. 10. 경사 하강법(Gradient Descent) 목차 정의 손실 함수를 최소화하는 모델의 파라미터를 찾기 위해, 최적화(Optimization) 알고리즘을 사용합니다. 경사 하강법(Gradient Descent)은 최적화 알고리즘 중에 대표적인 방법입니다. 손실 함수의 Gradient(미분값)을 사용하여 파라미터를 반복적으로 업데이트를 진행합니다. 경사 하강법을 진행하기 위해서는 손실 함수가 볼록(Convex)해야 전역 최솟값(Global Minima)에 손쉽게 찾아갈 수 있습니다. 비볼록(Non-Convex) 함수에서 경사 하강법은 지역 최솟값(Local Minima) 등에 갇힐 위험이 있습니다. 로지스틱 회귀에서 MSE loss를 사용하지 않고, Binary Cross Entropy(=BCE)를 사용하는 이유도 Convex 하게 만들어주기 위함입니.. 2023. 9. 28. 손실 함수(Loss Function) 목차 정의 손실 함수는 모델의 예측값과 실제값이 얼마나 잘 일치하는지를 측정하는 함수입니다. 손실 함수의 값이 작을수록 모델의 예측이 정확하다고 볼 수 있습니다. 손실 함수를 최소화하는 모델의 파라미터를 찾는 것이 모델의 학습 과정의 핵심입니다. 선형 회귀나 로지스틱 회귀의 경우는 학습 데이터에 대해 손실함수가 최소화되는 w0, w1, w2, ..., wn 값을 찾는 것이 모델의 학습 과정입니다. 손실 함수를 최소화하는 모델의 파라미터를 찾기 위해 대표적으로 경사 하강법(Gradient Descent)이라는 최적화 (Optimization) 알고리즘을 사용합니다. 경사 하강법의 내용은 아래 내용을 참고해 주시길 바랍니다. https://comdon-ai.tistory.com/25 비용 함수라고도 말하는 .. 2023. 9. 28. 이전 1 2 다음
