DataEngineer(6)
-
[인프런 빅쿼리 빠짝스터디] 2주차 윈도우 함수
윈도우 함수데이터를 창문을 통해 보는 것처럼, 일 부분씩 보면서 계산할 수 있게 해주는 함수윈도우 함수 : 탐색 함수1. LEAD이후 행의 값을 반환 ( 이후의 값이 없다면 NULL )LEAD(visit_month, 1) OVER (PARTITION BY user_id ORDER BY visit_month) AS after_visit_monthuser_idvisit_monthafter_visit_month10041310043510045710047NULL2. LAG이전 행의 값을 반환 ( 이전의 값이 없다면 NULL )LAG(visit_month, 1) OVER (PARTITION BY user_id ORDER BY visit_month) AS before_visit_monthuser_idvisit_mon..
2024.11.03 -
[인프런 빅쿼리 빠짝스터디] 1주차 BigQuery ARRAY, STRUCT, PIVOT 테이블, 퍼널 분석
ARRAY ( 배열 )여러 "동일한" 타입의 데이터를 하나의 컬럼으로 저장하는 데이터 타입- ARRAY ( 배열 ) 생성하기1. 대괄호 [ ] 사용하기SELECT [0, 1, 2, 3] AS numberUNION ALLSELECT [1, 3, 5, 7]UNION ALLSELECT [2, 4, 6, 8];※ UNION- JOIN 과는 다르게 테이블 아래에 다른 테이블 값을 붙이는 함수2. ARRAY[ 데이터 ]사용하기SELECT ARRAY[0, 1, 2, 3] AS number;3. 배열 생성 함수 사용GENERATE_DATE_ARRAY(start_date, end_date, step)GANERATE_ARRAY() 등등4. ARRAY_AVG 함수 사용여러 결과를 마지막에 배열로 저장하고 싶은 ..
2024.10.25 -
Slack Bolt Python 사용법 (1)
Slack에서 버튼식 알림을 주고 버튼 Value를 사용해 어떤 일을 처리 할 수 있는 방법이 없을까? 찾아보다가 Slack에서 제공하는 Slack bolt 라이브러리를 찾았다 깃허브 주소 : https://github.com/SlackAPI/bolt-python GitHub - slackapi/bolt-python: A framework to build Slack apps using Python A framework to build Slack apps using Python. Contribute to slackapi/bolt-python development by creating an account on GitHub. github.com Docs 주소 : https://slack.dev/bolt-pyt..
2023.11.28 -
특정 GPU만 사용하기
GPU MIG 모드를 사용했을때 특정 GPU만 사용하고 싶을 때는 일단 먼저 MIG UUID가 필요하다 $ nivida-smi -L MIG 2g.20gb Device 0: (UUID: MIG-) MIG 2g.20gb Device 1: (UUID: MIG-) MIG 2g.20gb Device 2: (UUID: MIG-) Python CUDA_VISIBLE_DEVICES="" python train.py Jupyter Notebook os.environ["CUDA_DEVICE_ORDER"]="PCI_BUS_ID" os.environ["CUDA_VISIBLE_DEVICES"]= "" torch를 import 하기 전에 먼저 환경을 설정 해야된다 import torch device = torch.device('..
2023.11.07 -
Docker에서 GPU 사용하기
단순하게 Docker 컨테이너 내에서 GPU를 사용할려고 했을때는 오류가 난다 오류를 해결하고 Docker 컨테이너 내에서 GPU를 사용할려면 기존 Docker가 아닌 nvidia-docker2를 설치해줘야 된다. 설치 저장소 및 GPG 키 설정 $ distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \ && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \ && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list...
2023.11.07 -
Docker Airflow 실행시 Docker 컨테이너 권한 오류
이런 비슷한 오류가 발생하는 경우 Dockerfile을 수정하고 FROM apache/airflow:2.5.2 COPY requirements.txt / RUN pip install --upgrade pip RUN pip install --user --no-cache-dir -r /requirements.txt USER root RUN apt-get update && apt-get install -y libgl1-mesa-glx && apt-get install -y libglib2.0-0 && apt-get install -y ffmpeg RUN usermod -u {UID} airflow USER airflow usermod를 해당 서버의 UID와 맞춰준다 혹은 docker-compose.yaml A..
2023.06.03