컴퓨터 공학 자료(학부)/Hadoop 썸네일형 리스트형 하둡 디렉토리 구조 각각의 디렉토리에 관한 간략한 설명이다. ( 0.20 버전 디렉토리 구조. 0.21dptjsms mapred, hdfs, common으로 디렉토리 구조가 분리, 소스는 각 디렉토리 내부로 이동됨) bin 하둡을 실행하거나 관리하는 스크립트 c++ JNI기반의 c++ 클라이언트 라이브러리 conf 환경 설정 파일 contrib streaming, scheduler, eclipse-plugin 등과 같이 하둡 메인 코드에는 반영되지 않았지만, 다양한 기능을 수행하게 하는 도구들이 포함돼 있다. 이 디렉토리는 이미 빌드돼 jar파일로 패킹되어 있으며, 소스는src 디렉토리에 있다. docs 하둡관련 문서와 javadoc API문서 ivy 하둡에서 사용하는 라이브러리의 의존성 관리를 위한 ivy설정. 하둡을 빌.. 더보기 하둡 설치방식 분류 하둡 동작 방식 master node 에서 hadoop 스크립트를 실행한다. hadoop 스크립트는 hadoop-site.xml의 정보를 읽어서 master node의 HOSTNAME:PORT정보를 얻어온다. ssh 프로토콜을 이용해서 master node의 HOSTNAME:PORT로연결을 한다. 연결후 hadoop-env.sh을 실행시켜서, data node의 hadoop실행환경을 확인한다. master node의 hadoop이 실행이 되고, hadoop-site.xml의 정보를 이용 분산디렉토리 루트를 생성한다. slaves 에 있는 data node host 목록을 읽어들인다. slaves 로 연결해서 hadoop-env.sh를 읽어서 hadoop을 실행 분산 디렉토리 운용을 시작한다. HDFS 설.. 더보기 ssh 설치 및 설정 하둡을 사용하기 위해서는 마스터-슬레이브 통신을 위해서 ssh를 설치해서 설정해주어야하고 rsync를 내부 데이터 리플리케이션을 위해 설치해야한다. 1. 설치 $ sudo apt-get install ssh 2. 기본 포트 변경 $ sudo gedit /etc/ssh/sshd_config # port 22 에서 ‘#’ 를 제거하고 원하는 포트로 변경 바꾸는 이유는 찾아보니 기본포트로 해두면 끊임없이 brute force attack 이 끊임 없이 들어온다고하니 원하는 포트로 바꿔두어야 한다 3. 데몬 재시작 및 확인 $ sudo /etc/init.d/ssh restart $ netstat -ntl tcp6 0 0 :::22(포트번호) :::* LISTEN 이면 정상 작동 중 ssh 의 보안설정 음. ub.. 더보기 이전 1 다음