[Spark] Spark 설치 (Mac intel)

Spark란?

빅데이터 프로세싱 도구로, SQL, 스트리밍, 머신러닝 및 그래프 처리를 위한 기본 제공 모듈을 제공한다.
 

Mac intel에 Spark 설치

apache-spark를 설치하기 전 python, Java는 설치가 된 상태여야 한다.

1. python, Java 설치

(Java 설치는 아래 글 참고)
2024.11.16 - [데이터 분석] - Hadoop 설치 (Mac intel)

 
2. apache-spark 설치

brew install apache-spark # 3.5.3으로 자동 설치

 

3. 환경변수 설정

터미널 환경이 아닌 주피터 노트북을 사용하기 위해 ~/.zchrc에서 환경변수를 설정한다.

export SPARK_HOME=/usr/local/Cellar/apache-spark/3.5.3/libexec
export PATH=$PATH:$SPARK_HOME

export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

 

4. scala 설치

brew install scala@2.12

터미널에 위와 같이 입력하여 scala를 설치한 뒤

export PATH="/usr/local/opt/scala@2.12/bin:$PATH"

환경변수 설정을 위해 ~/.zchrc에 추가한다.

 
5. 설치 확인

java -version
javac -version
python3 --version
scala -version
pyspark --version

터미널에 한 줄씩 입력했을 때 설치된 버전이 나오고, 위 사진처럼 나오면 설치가 완료된 것이다.

 
6. pyspark 실행

터미널에 'pyspark'라고 입력하면 jupyter notebook이 실행되며 spark를 jupyter notebook 환경에서 사용할 수 있게 된다.

 

 
 
 

Reference

https://parkaparka.tistory.com/2?category=814878