Deep dive into Kernel

박원순 서울 시장의 답변이 참 재치 있다. 기자들의 네가티브 질문을 인정하면서도 서울시민을 끌여들여 질문한 사람을 무색하게 만들었다. 즉 네가티브 용어를 포지티브 용어를 스스로 해석하고 다수를 끌여들여 반박을 못하게 하다니.. ㅋㅋ ==> 협찬논란으로 마음고생이 많았을 것이라는 질문에 박 시장은 "사실 협찬을 잘 받는 것도 중요한 것이다. 안철수 원장 협찬도 받았고, 야권의 협찬도 받았고, 이번엔 서울 시민들, 국민들의 협찬도 받아냈다"며 "이제는 기자들의 협찬을 받고 싶다"고 말해 웃음을 자아냈다.

I finally installed 120Gbps (10Gbps * 6 lines * up&down) realtime traffic monitoring and analysis system. System Architecture: -16 computing nodes - 2.67GHz * 512 cores - 736 GB Memory - 64 TB Disk This system analyzes all traffic in KT's cloud data center. 전자신문 뉴스 : "대규모 트래픽 분석 시스템" http://www.etnews.com/201110050200

다수의 파일에서 모든 패턴을 수정 ed -i 's/ old-word / new-word /g' *.txt

reduce를 실행하면 결과값들이 여러개의 파일로 분산된다. 해당 결과를 하나의 파일로 만들고 싶을 땐 hadoop fs -getmerge /output/dir/on/hdfs/ /desired/local/output/file.txt

기존의 Map/Reduce 작업의 성능 한계로 Map/Reduce를 새로 설계해야 한다는 의견이 많았다. 기존 문제점: - hadoop의 작은 버그 수정도 hadoop 전체를 업그레이드해야 함 The Next Generation of Map/Reduce ㅇ JobTracker의 분리 - ResourceManager - ApplicationMaster

오른쪽에 1950선도 회복 이란 소식에 깜짝 놀라며 해당 뉴스를 클릭했는데 실제 제목은 1750선 회복 이란다. 헐 네이버 제목은 사람이 수동으로 쓰나보다.... ㅋㅋ

하둡 개발시 디버깅은 syslog 를 이용해서 가능하다 import org.apache.commons.logging.LogFactory; import org.apache.commons.logging.Log; // 메인 클래스에 LOG라는 변수를 선언함 public class FlowMR { private static final Log LOG = LogFactory.getLog(FlowMR.class); // 실제 사용은 public void reduce(Text key, Iterable values, Context context ) throws IOException, InterruptedException { ArrayList list1 = new ArrayList(); //HashMap myMap = n..

Overview: - Map : 데이터를 key : value 쌍으로 매핑하는 작업 - Reduce : Map 을 하나의 결과로 줄이는 작업 -> Map & Reduce의 개념은 정말 심플하다. Python의 Map & reduce 함수와 원리는 동일함. 계산하고자 하는 것을 컴퓨터가 잘 이해하는 방식으로 표현하고 결과를 하나의 값으로 줄이는 것이다. - MapReduce Framework에는 JobTracker라는 싱글매스터가 존재, 클러스터 노드에는한개의 slave TaskTracker가 존재 Input & Output process (input) --> MAP --> --> combine --> --> REDUCE --> (output) 즉 형식의 key, value 쌍으로 매핑한 후 하나의 값으로..

Java Custom annotation : @Inject - JVM can read annotation in runtime with @Retention - if field has @Inject annotation, set value in runtime import java.lang.reflect.Field; import static java.lang.annotation.ElementType.FIELD; import static java.lang.annotation.RetentionPolicy.RUNTIME; import java.lang.annotation.Retention; import java.lang.annotation.Target; @Target(FIELD) @Retention(RUNTIME) ..