딥러닝
책 추천
2025. 5. 23. 00:20
딥러닝 용어 정리
2024. 3. 24. 23:57
반응형
❒ 통계학적 모델
● 회귀( Regression )
● 분류( Classification )
❒ Back propagation( 역전파 )
- 순전파 : x -> model -> 예측
- 출력층에서 입력층 방향으로 계산하면서 가중치를 업데이트
- 손실함수로 오차를 계산하고 경사하강법으로 가중치를 업데이트
- 편미분하는 이유 : 파라미터(가중치..)를 오차*학습률 만큼 업데이트 하기 위해
- 가중치 업데이트 방향 : 미분과 반대로 증가 또는 감소
-> 경사하강법 그래프를 보면 기울기에 따라 이동방향이 결정됨
❒ Optimizer
- 예측값과 정답값 간의 차이인 손실 함수의 크기를 최소화시키는 파라미터를 찾음
● Adam
● 경사 하강법(gradient descent)
✔ 배치 경사 하강법(Batch Gradient Descent)
✔ 확률적 경사 하강법(SGD, Stochastic Gradient Descent)
✔ 미니 배치 경사 하강법(Mini-Batch Gradient Descent)
❒ 손실 함수( Loss function )
● 회귀 : 평균 오차 계산법이 대표적. 계산 방식에 따라 MAE, MSE, RMSE로 구분
● 분류 : Binary cross entropy, Categorical cross entropy
● 문제 유형 별로 손실함수가 달라짐
| 문제 유형 | 손실 함수( Loss function ) | |
| 연속형 | 회귀 | MSE |
| 범주형 0 1 | 이진분류 | Binary Cross Entropy |
| 범주형 3이상 | 다중분류 | Cross Entropy |
❒ 활성화 함수
- Sigmoid
- ReLU
❒ 성능향상( 과적합방지 )
- Dropout
- Batch Normalization
- L1 L2정칙화
- Early Stopping
❒ 학습률 : running rate
❒ 1*w1 + 2*w2 + b => 상수항도 랜덤으로 설정되었다고 학습됨
- b, w : 모델의 파라미터
반응형