[데이터 엔지니어링] 배포와 대시보드

Heroku 배포

▶ WSGI ( Web Server Gateway Interface )

- WSGI 란 다리와 같은 역할

- 중간 역할을 맡고 있는 Middleware 라고도 부를 수 있음

- 하는 역할은 서버나 게이트웨이를 애플리케이션이나 프레임워크와 이어주게 됨

- 예를 들어 Flask 와 같은 마이크로 프레임워크를 서버로 연결해 외부에서 접속할 수 있도록 도와주는 역할

▶ gunicorn

- 'green unicorn'를 줄인 'gunicorn'의 정의는 파이썬의 WSGI HTTP Server

- WSGI 를 네이티브 지원함

- Worker 를 자동으로 관리함

- 손쉬운 파이썬 결정

- 동시에 다수의 Worker 가 사용 가능함

- gunicorn은 HTTP 관련된 웹 요청이 들어오게 되면 Flask 와 같은 애플리케이션을 이용해 처리를 해주는 역할

■ 설치

$ pip install gunicorn

■ 실행

$ gunicorn [옵션] [WSGI 애플리케이션]

$ gunicorn --workers=4 flask_app:app

▶ Heroku 소개

- Heroku는 클라우드 플랫폼을 제공하는 서비스

- 헤로쿠 장점

• CLI와 같은 도구를 제공하기 때문에 편리하게 터미널에서 작업을 진행할 수도 있음
• 헤로쿠도 깃을 사용하기 때문에 레포 단위로 배포를 진행하고 관리할 수도 있음
• 준비만 되어 있다면 코드를 배포할 서버에 올리고 배포된 URL 주소를 얻는 과정도 손쉽게 할 수 있음
• 다이노 ( Dyno ) 라는 기능을 활용해서 헤로쿠에서는 모듈처럼 원하는 대로 맞출 수 있음
• 비용적인 측면

- 설치 공식문서

The Heroku CLI | Heroku Dev Center

Metabase 대시보드

- 공식문서

Adding and managing databases

- 데이터베이스에 수집된 데이터를 다른 사람에게 시각화하여, 전달하기 위한 방법으로 아래와 같은 방식이 사용됨

• 보고서 작성 : WORD, PPT, Google Slide 를 이용
• 대화형 인터프리터 : Colab, Jupyter Notebook 를 이용
• 웹 애플리케이션 : Flask, Django, Spring 을 이용
• BI 도구(대시보드) : Metabase, Google DataStudio, Retool, Redash 이용

▶ 대시보드의 장점

- 대시보드를 DB에 직접 연결하여 생성하면 데이터의 변동 사항을 실시간으로 반영할 수 있다는 장점이 있음

- DB에 저장된 수 많은 raw 데이터는 데이터 직군이 아니면 접근과 해석이 다소 어려울 수 있음

- 대시보드에는 유저가 직접 데이터 필터를 조작할 수 있게 하는 기능들이 있어서 더욱 생동감 있는 데이터 보고서를 만들 수 있음

▶ 대시보드 구성 프로세스

- 요구사항 : 핵심지표는 무엇인가?

- 설계 : 지표는 어떤 기술을 활용하여 어떻게 볼 것이고, 어디서 생성되는가?

- 구현 : 대시보드를 전체적인 흐름에 적합하도록 구현함

- 가동 : 구현한 대시보드를 팀원 또는 다른 사람에게 보여주면서 피드백을 받음

- 테스트 : 대시보드에 데이터베이스를 연결하여 데이터를 넣어보면서 대시보드를 구체화함

- 검수 : 구체화된 대시보드가 정상적으로 작동되고 활용되는지 전체적으로 확인함 이 단계에서는 시각화와 스토리텔링도 함께 살펴봄

- 개선 : 위의 전체적인 작업을 단계별로 적합하게 작업되었는지 확인하고 부분적으로 수정함