Airflow 시작

가상환경 설정

$ conda create --name airflow python==3.8
$ conda activate airflow

Airflow 설치

$ export AIRFLOW_HOME=~/airflow
$ AIRFLOW_VERSION=2.2.3
$ PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)"
$ CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt"
$ pip install "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}"

Airflow 실행

$ airflow db init
$ airflow users create --username admin --password admin --firstname Anonymous --lastname Admin --role Admin --email admin@example.org
$ cp download_rocket_launches.py ~/airflow/dags/ # dags 파일을 생성해줌
$ airflow webserver
$ airflow scheduler

Airflow 결과

실행하기

Graph에서 실제로 DAG가 돌아가는 모습을 볼 수 있음

실패하거나 성공한 Log를 확인할 수 있음

로그를 통해 실패시 문제점을 찾을 수 있음

사진이 받아진 모습을 볼 수 있음