원핫 인코딩이란? 전체 단어의 크기만큼의 차원을 가지고 해당되는 단어 1 아니면 0 으로 표현하는 인코딩 방법 ▶ 단점 단어간의 유사성을 알 수 없음 임베딩 ( Embedding ) 이란? 길이가 고정된 연속적인 값을 갖는 벡터로 변환하는 것 ▶ Word2Vec → CBoW 주변단어에서 중심단어를 예측 → Skip - gram 중심단어에서 주변단어를 예측 입력 : 원핫 인코딩 된 단어 벡터 은닉층 : 임베딩 벡터의 차원 수 만큼 노드로 구성된 은닉층 1개 출력층 : 활성화 함수, 소프트 맥스 함수 사용 → 단어 OOV ( Out-Of-Vocabulary ) 문제 : 모르는 단어로 인해 문제를 푸는 것이 까다로워지는 상황 → 임베딩한 단어 벡터의 특징 man-woman 관계와 king-queen의 관계 →..

자연어 처리 ( Natural Language Processing, NLP ) 이란? ▶자연어 이해 ( Natural Language Understanding, NLU ) → 분류, 추론, 독해, 품사 태깅, 개체명 인식, 추출 요약 ▶자연어 생성 ( Natural Language Generation, NLG ) → 텍스트 생성 ( 특정 도메인의 텍스트 생성 ) 전처리 ▶ 불용어 ( Stop Words ) "And", "it", "a"과 같은 관사나 조사 등 필요없는 단어 ▶ 어간 추출 ( Stemming ) "-s", "-es", "-ing" 등을 빼서 주된 의미를 가진 단어 ( 어간 ) 를 남김 ▶ 표제어 추출 ( Lemmatization ) "wolves" → "wolf" 사전에 등재되어 있는 형태..

https://www.codestates.com/ 코딩부트캠프 | 코드스테이츠 - 비전공생도 개발자가 될 수 있습니다 코딩부트캠프를 찾는다면? 개발자로 커리어 전환을 위한 책임있는 코딩 교육 기관! 서비스 기획자, 그로스 마케터, 데이터 사이언티스트 등 다양한 전문 커리어에 도전하세요. 취업 성공의 후기 www.codestates.com Summary 퍼셉트론 : 신경망을 이루는 기본단위 다수의 신호 -> 하나의 신호 가중치-편향 연산 : 입력된 신호는 가중치와 곱해지고 그 결과를 더해주는 가중합 과정이 첫번째 단계 활성화 함수 ( Activation Function ) 계단 함수 ( Step Function ) 시그모이드 함수 ( Sigmoid Function ) : 경사하강법 ReLU 함수 : 기울기..

하이퍼파라미터 튜닝 ( Hyperparmeter Tuning ) 머신러닝 알고리즘을 다룰 때에 일반적인 모델의 성능을 평가하기 위해서 교차 검증 ( Cross - Validation ) 을 사용했던 것처럼 신경망도 교차 겅증을 사용하여 일반화 성능을 평가 할 수 있음 ▶ Grid Search 하이퍼파라미터마다 탐색할 지점을 정해주면 모든 지점에 해당하는 조합을 알아서 수행해줌 너무 많은 하이퍼파라미터 조합을 찾으려고는 X 1개 혹은 최대 2개 정도의 파라미터 최적값을 찾는 용도로 적합함 def create_model(): model = Sequential() model.add(Dense(100, input_dim=8, activation='relu')) model.add(Dense(1, activatio..

신경망 학습이 더 잘되도록 하는 방법 ▶ 학습률 감소 / 계획법 ( Learning rate Decay / Scheduling ) → 학습률 ( Learning rate ) 매 가중치에 대해 구해진 기울기 값을 얼마나 경사 하강법에 적용할지를 결정하는 하이퍼파라미터 학습률이 너무 낮으면 최적점에 이르기까지 너무 오래 걸리거나, 주어진 Iteration 내에서 최적점에 도달하는데 실패하기도 함 학습률이 너무 높으면 경사 하강 과정에서 발산하면서 모델이 최적값을 찾을 수 없게 되어버림 → 학습률 감소 ( Learning rate Decay ) model.compile(optimizer=tf.keras.optimizers.Adam(lr=0.001, beta_1 = 0.89) , loss='sparse_cate..

신경망 학습이 이뤄지는 과정 ① 가중치 및 활성화 함수 연산을 반복적으로 수행 → 순전파 ② ①의 과정을 모든 층에서 반봇 후 출력층에서 계산된 값을 출력 → 순전파 ③ 손실함수를 사용하여 예측 값과 실제 값의 차이를 계산 → 손실 계산 ④ 경사하강법과 역전파를 통해 각 가중치를 갱신 → 역전파 ⑤ 학습 중지 기준을 만족할 때 까지 ① ~ ④의 과정 반복 ▶ 이 과정을 현재 하고 있는 코딩으로 비유하자면 코딩 ( 순전파 ), 디버깅 ( 손실 계산 ), 오류수정 ( 역전파 ) 순전파 ( Forward Propagation ) 란? 입력층에서 입력된 신호가 은닉층의 연산을 거쳐 출력층에서 값을 내보내는 과정 입력 신호 정보를 입력층으로 부터 출력층까지 전달하여 값을 출력하는 알고리즘 ① 입력층 ( 혹은 이전..