YARN ( Yet Another Resource Negotiation )

MapReduce 1

-  문제점

• 확장성 병목
• 신뢰성과 가용성 문제
• 맵리듀스 프로그램 모델만 지원
• 클러스터 이용률 문제

YARN ( Yet Another Resource Negotiation ) 의 등장

= MapReduce 2

https://bigdataanalyticsnews.com/hadoop-2-0-yarn-architecture/

-  특징

• JobTracker의 두 가지 중요한 부분의 책임 분리
  • Resource Manager
  • Application Master
• 확장성 개선
• 다양한 워크로드 지원
• 클러스터 이용률 개선
• 기존 맵리듀스 호환성 지원

YARN Architecture

https://bigdataanalyticsnews.com/hadoop-2-0-yarn-architecture/

MapReduce 1   VS   YARN

YARN 컴포넌트

- Resource Manager

• 클러스터 리소스를 중재하는 마스터
• 주요 컴포넌트
  • Scheduler
    • FIFO ( 선입선출 )
    • Capacity Scheduler
    • Fair Scheduler
  • Applications Manager

- Node Manager

- Application Master

- Container

YARN 동작방식

1. Client가 Resource Manager에게 Application에 대한 요청을 전송

2. Resource Manager는 Application Master와 함께 Application을 등록

3. Resource Manager는 각각의 분리된 Container에서 Application Master를 구동.

만약 Container가 구동 불가능하다면, 적합한 Container를 찾을 때까지 기다림

4. Application Master는 Node Manager에게 Container의 실행 명령을 전달

5. Application 코드가 Container에서 실행됨

 참고

- 그림참고