Airflow 스케줄링

DAG 스케줄링

cron

Crontab.guru - The cron schedule expression editor

dag = DAG(
    dag_id = "FIFA_Online4",
    description = "FIFA Online 4 Match Detail Analysis",
    start_date = datetime(2022,11,12, tzinfo = kst),
    end_date = datetime(2022,11,30, tzinfo = kst),
    dagrun_timeout=timedelta(minutes=300),
    schedule_interval = '0 2,7,14,20 * * *'
)

백필 ( Backfill )

파라미터에 포함된 일시를 순서대로 바꿔가면서 일정 기간의 플로우를 연속해서 실행하는 구조

원자성 ( Atomicity )

하나의 원자 트랜잭션은 모두 성공하거나 또는 실패하는 데이터베이스 운용의 집합

ex ) ATM 기계에서 돈을 뽑는 과정

멱등성 ( Idempotence )

동일한 입력으로 동일한 태스크를 실행시 항상 같은 값이 나와야 함