[Day 71] Sprint Review

https://www.codestates.com/

코딩부트캠프 | 코드스테이츠 - 비전공생도 개발자가 될 수 있습니다

---

Summary

• 퍼셉트론 : 신경망을 이루는 기본단위
  • 다수의 신호 -> 하나의 신호
  • 가중치-편향 연산 : 입력된 신호는 가중치와 곱해지고 그 결과를 더해주는 가중합 과정이 첫번째 단계
  • 활성화 함수 ( Activation Function )
    • 계단 함수 ( Step Function )
    • 시그모이드 함수 ( Sigmoid Function ) : 경사하강법
    • ReLU 함수 : 기울기 소실 문제 해결
    • 소프트맥스 함수 ( Softmax Funtion ) : 모든클래스의 합이 1이 되는 확률 값으로 변환
• 논리 게이트
  • AND GATE
  • NAND GATE
  • OR GATE
  • XOR GATE
• 인공 신경망 ( ANN, Artificial Neural Network )
• 신경망 층
  • 입력층 ( Input Layer ) : 데이터셋이 입력되는 층, 신경망의 층 수를 셀 때 입력층은 포함하지 않습니다
  • 은닉층 ( Hidden Layer ) : 입력된 신호가 가중치, 편향과 연산되는 층 -> 활성함수 : ReLU 함수
  • 출력층 ( OutPut Layer ) : 은닉층 연산을 마친 값이 출력되는 층 
    • 이진분류 활성 함수 : 시그모이드 함수
    • 다중분류 활성 함수 : 소프트맥스 함수
    • 회귀 활성 함수 : X

• 신경망 학습 ( Training Neural Network )
  1. 가중치 및 활성화 함수 연산을 반복적으로 수행
  2. 1의 과정을 모든 층에서 반복 후 출력층에서 계산된 값을 출력
  3. 손실함수를 사용하여 예측 값 ( Prediction )과 실제 값 ( Target )의 차이를 계산
  4. 경사하강법 과 역전파를 통해 각 가중치를 갱신
  5. 학습 중지 기준을 만족할 때 까지 1 ~ 4의 과정 반복
• 순전파 ( Forward Propagation ) : 입력층에서 입력된 신호가 은닉층의 연산을 거쳐 출력층에서 값을 내보내는 과정
• 손실함수 ( Loss Funtion )
  • MSE ( Mean - Squared Error )
  • CEE ( Cross - Entropy Error )
  • binary_crossentropy -> 이진 분류
  • categorical_crossentropy -> 다중 분류
  • sparse_categorical_crossentropy -> 다중 분류
• 경사하강법 ( Gradiant Descent ) : 해당 가중치에서의 손실 함수의 미분 값을 계산하여 경사가 작아질 수 있도록 가중치를 조절
  • 확률적 경사 하강법 ( Stochastic Gradient Desent, SGD ) : 전체 데이터에서 하나의 데이터를 뽑아서 신경망에 입력 후 손실 계산한 다음 역전파하여 가중치를 업데이트
    • 장점 : 가중치를 빠르게 업데이트
    • 단점 : 1개의 데이터만 보기 때문에 학습과정에서 불안한 경사 하강
  • 미니배치 ( Mini - Batch ) 경사 하강법 : N개의 데이터로 가중치를 업데이트
    • 배치 사이즈 ( Batch Size ) : 2의 배수로 설정, 클 수록 안정적인 학습
• 편미분
• Chain Rule
• 옵티마이저 ( Optimizer ) : 경사를 내려가는 방법을 결정

• 학습률 ( Learning Rate ) : 매 가중치에 대해 구해진 기울기 값을 얼마나 경사 하강법에 적용할지를 결정하는 하이퍼파라미터
  • Too Small : Converge very slowly
  • Too Big : Overshoot and even diverge
• 가중치 초기화 ( Weight Initialization )
  • Xavier 초기화 -> Sigmoid
  • He 초기화 -> ReLU
• 과적합 ( Overfitting ) 방지
  • 가중치 감소 ( Weight Decay )
  • 드롭아웃 ( Drop Out )
  • 조기종료 ( Early Stopping )

• Hyperparmeter Tuning
  • Bayesian Methods
  • Grid Search
  • Random Search
• Keras Tuner