[Mac] NameNode 나 DataNode가 실행되지 않을때

갑작스럽게 컴퓨터를 종료하거나 Hadoop 클러스터를 stop하지 않고 강제로 종료했을 때 간혹 가다 sbin/start_all.sh를 했을 경우 NameNode 나 DataNode가 나타나지 않는 문제가 생기곤 한다.

이 때 해결 할 수 있는 방법은 크게 3가지 정도로

1. core.site,  hdfs.site 파일 확인하기

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/Users/jjwani/workspace/fastcampus/hadoop/hadoop-3.3.2/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/Users/jjwani/workspace/fastcampus/hadoop/hadoop-3.3.2/dfs/data</value>
    </property>
    <property>
	      <name>dfs.namenode.checkpoint.dir</name>
	      <value>/Users/jjwani/workspace/fastcampus/hadoop/hadoop-3.3.2/dfs/namesecondary</value>
    </property>
</configuration>

이런 식으로 NameNode 와 DataNode dir이 설정 되어 있는지 확인을 해야한다.

 

2. NameNode 초기화

$ hdfs namenode -format

코드를 활용해서 NameNode를 포맷시킨다.

 

3. 위에 두개를 해도 안 될 경우 NameNode의 포트 번호가 사용 중인지 확인하기

$ sudo lsof -i :9000

코드를 통해 9000번 포트(NameNode 포트) 가 사용중인지 확인하고 사용 중이라면 Kill을 한 후 재실행 해본다.

 

가장 좋은 방법은 실행했을 때 떨어지는 로그를 보고 오류를 확인하고 적용시키는 것이 가장 좋은 방법이라고 생각한다.