[Hadoop] Hadoop 설치 (Mac intel)

Hadoop이란?

빅데이터를 저장, 처리, 분석할 수 있는 소프트웨어 프레임워크

 

Mac intel에 Hadoop 설치

1. Java 설치

brew install cask
brew install --cask adoptopenjdk/openjdk/adoptopenjdk11

터미널의 위 명령어를 입력하면 Java를 설치할 수 있다.

 

2. JAVA HOME 확인

/usr/libexec/java_home
/Library/Java/JavaVirtualMachines/adoptopenjdk-11.jdk/Contents/Home

 

3. Hadoop 설치

brew install hadoop # 3.4.1로 자동 설치

 

4. 환경변수 수정

Finder에서 'Cmd+Shift+G'로 경로 검색 창을 띄우고 "/usr/local/Cellar/hadoop/3.4.1/libexec/etc/hadoop"로 들어가면 수정 대상 파일을 확인할 수 있다.

1) hadoop-env.sh

export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
export JAVA_HOME="/Library/Java/JavaVirtualMachines/adoptopenjdk-11.jdk/Contents/Home"

주석 처리된 파일 가장 밑에 위 코드를 추가해준다.

 

2) core-site.xml

<configuration>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
          <description>A base for other temporary directories.</description>
      </property>
      <property>
          <name>fs.default.name</name>
          <value>hdfs://localhost:9000</value>
      </property>
</configuration>

<configuration> 태그 안을 해당 내용으로 채운다.

 

3) hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

<configuration> 태그 안을 해당 내용으로 채운다.

 

4) mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.application.classpath</name>   
	  <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
  </property>
</configuration>

<configuration> 태그 안을 해당 내용으로 채운다.

 

5) yarn-site.xml

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	</property>
</configuration>

<configuration> 태그 안을 해당 내용으로 채운다.

 

5. 인증서 생성

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

 

6. 원격 로그인 설정

설정 -> 공유 -> 원격 로그인 -> 켬

 

7. NameNode, DataNode Directory 생성

mkdir -p /usr/local/Cellar/hadoop/hdfs/namenode
mkdir -p /usr/local/Cellar/hadoop/hdfs/datanode

 

8. HDFS 포맷

hdfs namenode -format

 

8. Hadoop 실행

cd /usr/local/cellar/hadoop/3.4.1/libexec/sbin
./start-all.sh

 

 

Hadoop 실행 확인

터미널에 'jps'라고 입력했을 때 다음과 같이 출력되면 하둡이 정상 설치 및 실행되는 것이다.

18034 NodeManager
17939 ResourceManager
17749 SecondaryNameNode
17514 NameNode
18109 Jps
17614 DataNode

728x90

아래의 localhost로 접속하여 확인

Cluster status : http://localhost:8088
HDFS status : http://localhost:9870
Secondary NameNode status : http://localhost:9868

Cluster status

 

HDFS status

 

Secondary NameNode status

 

 

Reference

https://hyojupark.github.io/hadoop/install-hadoop-in-mac/

intel MAC에 Hadoop 설치하기

https://key4920.github.io/docs/bigdata_platform/Hadoop/hadoop_install/