DataBaser.Net: 1

OS type : Linux
OS version : CentOS 6.3
HADOOP type : Cloudera hadoop 4.0 (CDH4)

클라우데라 하둡을 설치 메뉴얼 상에는 CentOS 6.2 CDH4를 권장하고 있습니다. 하지만 연구실에 있는 컴퓨터가 최신이라 6.2버전을 설치하면 내장 드라이버들을 잡지 못하는 문제가 생겨 그냥 6.3으로 진행하였습니다.

클라우데라 하둡 설치(CDH) 내용
os : CentOS 6.3 한글 설치 [ /boot 200M, swap 16G, / 나머지모두 ] //swap 16G는 램 용량 만큼 할당.. 별 이유 없음..
node setting : [ Core i7, 16G ram, 1TB HDD, 1Gbit LAN ] *5, Gbit switch

OS의 기본적인 네트웍 설정들이 모두 되어있다고 가정하고 진행합니다.

0. 모든 노드에 하나씩 접속해서 ssh 데몬을 실행시킨다.
chkconfig sshd on
service sshd start

1. namenode의 /etc/hosts 안에 클러스터로 묶을 전체 노드들의 ip 주소와 호스트 네임을 채워놓는다.
ex)
127.0.0.1 localhost

192.168.0.1 namenode
192.168.0.2 secondnode
192.168.0.3 datanode1
192.168.0.3 datanode2
192.168.0.3 datanode3
192.168.0.3 datanode4

2. hostnames.cfg 파일을 생성한다.
내용은 위 hosts에 설정해 놓은 것과 같은 순서로 각 서버의 호스트 네임만을 적어 넣는다.
namenode
secondnode
datanode1
datanode2
datanode3
datanode4

3. ssh key를 생성하고 각 노드에 복사한다.

a. ssh key 생성
ssh-keygen -t rsa -P ""

b. 로컬에 있는 ssh key를 각 노드들로 복사
쉘 스크립트 실행(hostnames.cfg 파일 필요)
sh copy_id.sh

copy_key.sh

for i in $(cat hostnames.cfg)
do
	ssh-copy-id -i ~/.ssh/id_rsa.pub $i
done

실행 후 yes , passwd, yes , passwd, yes…. 끝날때 까지 반복

종료 후 ssh datanode2 등 각 노드들로 접속 되는지 확인

4. total_setting.sh 파일을 받아 실행 시킨다. (hostnames.cfg 파일과 같은 디렉토리에서 실행)

total_setting.sh

for i in $(cat hostnames.cfg)
do
	ssh $i hostname -I;
	ssh $i sed -i "s/localhost.localdomain/$i/g" /etc/sysconfig/network; 
	scp /etc/selinux/config $i:/etc/selinux/config;
	scp /etc/hosts $i:/etc/hosts;
	ssh $i chkconfig iptables off;
	ssh $i chkconfig ip6tables off;
	ssh $i service iptables stop;
	ssh $i service ip6tables stop;
	echo "--------------------done";
#	ssh $i shutdown -r now;
done

total_setting 내용
a. 각 노드들의 hostname을 hostnames.cfg파일 안의 이름으로 순차적으로변경
b. 각 노드들의 selinux 설정 disabled
c. local의 /etc/hosts 내용을 각 노드로 복사
d. 각 노드들의 보안 해제(iptables, ip6tables)

5. cloudera-manager-installer.bin 설치

./cloudera-manager-installer.bin

cloudera-manager-installer.bin

6. 설치 진행
라이센스 사용 동의 … next next 엔터엔터
완료후 cloudera manager 설치 노드 ip의 7180포트로 접속.(Chrome 브라우저 추천)
ex)
192.168.0.1:7180

기본 아이디 패스워드는 admin / admin
설치 진행 후 각 노드별 role 설정

inspector fail 발생 -> 각 노드들 설정 확인 (스크립트 실행 제대로 되었는지 설정 확인)