The Relationship between news and stocks 4

회의록

- 데이터 전처리시 영어와 숫자 그리고 %와 같은 특수문자를 어떻게 처리할지 고민

- 전날 종가와 당일 시가를 비교해서 라벨링을 진행

- 뉴스기사랑 주식 데이터의 상관관계 분석 관련 논문 찾아보기

코드

 KOSPI 200 기업 관련 뉴스 기사 수집

def News(self):
    self.cur.execute('SELECT id FROM Stock_ID;')
    stock_id = self.cur.fetchall()
    for idx,id in enumerate(stock_id):
        for i in range(1, 500):
            url = f'https://finance.naver.com/item/news_news.naver?code={id[0]}&page={i}&sm=entity_id.basic&clusterId='
            self.driver.get(url)
            self.driver.implicitly_wait(5)
            html = self.driver.page_source 
            soup = BeautifulSoup(html, 'html.parser')
            date = [i.text for i in self.driver.find_elements_by_class_name("date")]
            for j in soup.select('body > div > table.type5 > tbody'):
                data = j.find_all("a")
                data = [i["href"] for i in data if i["href"] != "#"]
                for da,de in zip(data,date):
                    if de == '':
                        continue
                    if de < '2022.04.01':
                        break
                    try:
                        url = "https://finance.naver.com"+da
                        self.driver.get(url)
                        sql = (id[0], self.driver.find_element_by_id('news_read').text, de)
                        self.cur.execute('INSERT IGNORE INTO Stock_News_2 (stock_id, text, date) VALUES (%s ,%s, %s)', sql)
                        self.conn.commit()
                    except:
                        continue
            if de == '':
                continue
            if de < '2022.04.01':
                break
        print(f'{idx+1}/{len(stock_id)}')

참고

- 네이버 기사 댓글 가져오기

네이버 기사 댓글 가져오기

- 주식용어 정리

주식용어 호가, 시가, 종가, 저가, 고가 뜻 알아야할 기초상식

- 빅데이터와 인공지능 기법을 이용한 기업 부도예측 연구 ( 최정원* 오세경** 장재원***) 논문

- 뉴스와 주가 : 빅데이터 감성분석을 통한 지능형 투자의사결정모형 (지능정보연구 제18권 제2호 2012년 6월(pp.143~156))