DataEngineer/Airflow(2)
-
Docker에서 GPU 사용하기
단순하게 Docker 컨테이너 내에서 GPU를 사용할려고 했을때는 오류가 난다 오류를 해결하고 Docker 컨테이너 내에서 GPU를 사용할려면 기존 Docker가 아닌 nvidia-docker2를 설치해줘야 된다. 설치 저장소 및 GPG 키 설정 $ distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \ && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \ && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list...
2023.11.07 -
Docker Airflow 실행시 Docker 컨테이너 권한 오류
이런 비슷한 오류가 발생하는 경우 Dockerfile을 수정하고 FROM apache/airflow:2.5.2 COPY requirements.txt / RUN pip install --upgrade pip RUN pip install --user --no-cache-dir -r /requirements.txt USER root RUN apt-get update && apt-get install -y libgl1-mesa-glx && apt-get install -y libglib2.0-0 && apt-get install -y ffmpeg RUN usermod -u {UID} airflow USER airflow usermod를 해당 서버의 UID와 맞춰준다 혹은 docker-compose.yaml A..
2023.06.03