Deep dive into Kernel

Tested: hama-0.5.0 Compile:mkdir ./class javac -classpath "/usr/local/hadoop/hadoop-core-1.0.1.jar":"/usr/local/hadoop/lib/*":"./class":"/root/hama/hama-0.5.0/*":"/root/hama/hama-0.5.0/lib/*" -d class BSPSkeleton.java- specify correct Path of hadoop and hama Packaging:jar -cvf skeleton.jar -C class/ . run:/root/hama/hama-0.5.0/bin/hama jar hama.jar BSPSkeleton- specify correct Path of hama binar..

reduce를 실행하면 결과값들이 여러개의 파일로 분산된다. 해당 결과를 하나의 파일로 만들고 싶을 땐 hadoop fs -getmerge /output/dir/on/hdfs/ /desired/local/output/file.txt

기존의 Map/Reduce 작업의 성능 한계로 Map/Reduce를 새로 설계해야 한다는 의견이 많았다. 기존 문제점: - hadoop의 작은 버그 수정도 hadoop 전체를 업그레이드해야 함 The Next Generation of Map/Reduce ㅇ JobTracker의 분리 - ResourceManager - ApplicationMaster

하둡 개발시 디버깅은 syslog 를 이용해서 가능하다 import org.apache.commons.logging.LogFactory; import org.apache.commons.logging.Log; // 메인 클래스에 LOG라는 변수를 선언함 public class FlowMR { private static final Log LOG = LogFactory.getLog(FlowMR.class); // 실제 사용은 public void reduce(Text key, Iterable values, Context context ) throws IOException, InterruptedException { ArrayList list1 = new ArrayList(); //HashMap myMap = n..

Overview: - Map : 데이터를 key : value 쌍으로 매핑하는 작업 - Reduce : Map 을 하나의 결과로 줄이는 작업 -> Map & Reduce의 개념은 정말 심플하다. Python의 Map & reduce 함수와 원리는 동일함. 계산하고자 하는 것을 컴퓨터가 잘 이해하는 방식으로 표현하고 결과를 하나의 값으로 줄이는 것이다. - MapReduce Framework에는 JobTracker라는 싱글매스터가 존재, 클러스터 노드에는한개의 slave TaskTracker가 존재 Input & Output process (input) --> MAP --> --> combine --> --> REDUCE --> (output) 즉 형식의 key, value 쌍으로 매핑한 후 하나의 값으로..