[Hadoop] HDFS에 파일 저장하기

HDFS란?

대용량 파일을 분산된 서버에 저장하고 빠르게 처리하는 하둡 분산 파일 시스템

 

1. Hadoop 실행

cd /usr/local/cellar/hadoop/3.4.1/libexec/sbin
./start-all.sh

 

2. 폴더 생성

hdfs dfs -mkdir /폴더명

터미널에서 위와 같이 입력하여 폴더를 생성하고

HDFS status : http://localhost:9870

상단 메뉴 중 Utilities-Browse the file system에 들어가면

생성한 Directory를 확인할 수 있다.

 

3. 파일 저장

hdfs dfs -put 로컬 저장소 위치/파일명 폴더명/파일명

터미널에 다음과 같이 입력하면

설정한 파일명대로 파일이 올라간 것을 확인할 수 있다.

 

 

Reference

https://yarisong.tistory.com/58