회의록 - 뉴스 기사 토큰화 Konlpy의 Kkma, Okt로 진행 - Kkma의 경우 시간이 너무 오래 걸림 - 일단 영어와 숫자 특수문자는 제거 했을 때와 하지 않았을 경우 두가지 모두 진행 코드 AWS 서버 MySQL 연결 import pandas as pd import pymysql conn = pymysql.connect( user = 'stocks', passwd = 'Stocks!', host = "-", port = 3306, db = 'Data', charset = 'utf8' ) cur = conn.cursor() 7월 15일 이전 데이터로만 불러오기 cur.execute(''' SELECT DISTINCT stock_id, text, date FROM Stock_News_2 Where..

회의록 - 데이터 전처리시 영어와 숫자 그리고 %와 같은 특수문자를 어떻게 처리할지 고민 - 전날 종가와 당일 시가를 비교해서 라벨링을 진행 - 뉴스기사랑 주식 데이터의 상관관계 분석 관련 논문 찾아보기 코드 KOSPI 200 기업 관련 뉴스 기사 수집 def News(self): self.cur.execute('SELECT id FROM Stock_ID;') stock_id = self.cur.fetchall() for idx,id in enumerate(stock_id): for i in range(1, 500): url = f'https://finance.naver.com/item/news_news.naver?code={id[0]}&page={i}&sm=entity_id.basic&clusterId..

회의록 - CV 와 NLP 주제 고민 - CV로 주제 선정시 Style GAN의 필요 성능이 너무 높아 불가능 할거라고 판단 - NLP 주제인 뉴스기사로 인한 주가 등락 예측 주제로 선정 - 네이버 주식 사이트에서 KOSPI 200 기업의 주식시세와 관련 뉴스 데이터 수집 코드 클래스 생성 class Crolling: def __init__(self): self.conn = pymysql.connect(user = 'stocks', passwd = '', host = "", port = 3306, db = 'Data', charset = 'utf8') self.cur = self.conn.cursor() self.driver = webdriver.Chrome(ChromeDriverManager().ins..

회의록 - CV 와 NLP 주제 고민 - CV관련 주제를 중점으로 두고 논문 찾아보기

회의록 주제 선정 - 앞에서 진행했던 프로젝트 업데이트 - CV Style GAN 을 이용한 옛날 사진 복원 Style GAN 을 이용한 사진 필터 위성사진으로 건축물 분류 - NLP 뉴스기사로 인한 주가 등락 예측

회고 - 처음으로 해보는 팀 프로젝트에서 확실히 개인으로 했을 때 보다 좀 더 좋은 성과가 나왔음 - 개인적으로 추가해보고 싶은 내용이 플레이리스트 저장 기능과 전에 추천받은 내용 저장과 불러내기 기능 - 웹서버와 모델 서버를 분리하는 것이 로딩을 줄일 수 있다는 피드백을 받고 추후 업데이트 예정 - AWS 내부에서 DB를 따로 저장해야되는 부분을 마지막 날에 깨달아서 DB데이터를 옮기는 데 시간을 너무 많이 씀 - AWS를 통해 웹을 배포 했다는 것에 정말 좋은 경험을 했음 - 좀 더 고도의 모델을 사용해서 완성에 가까운 프로젝트를 완성 해보고 싶음