hadoop wordcount 예제 수행

hadoop을 설치하였다면 잘 동작하는지 테스트 필요

1. sample 파일을 hdfs로 업로드하기
- wordcount를 수행할 샘플 파일을 업로드한다.
- 현재 디렉토리에서 sample.txt라는 파일을 hadoop의 /data/test 라는 파일로 복사

root@cnode01-m:/data/netflow# hadoop dfs -copyFromLocal sample.txt /data/test

- 복사가 잘 되었는지 확인

root@cnode01-m:/data/netflow# hadoop dfs -ls /data/test

Warning: $HADOOP_HOME is deprecated.

 

  Found 1 items

-rw-r--r--   2 root supergroup    1345461 2012-03-26 19:29 /data/test

2. word count 실행

- hadoop-example-x.x.x.jar 파일 확인

root@cnode16-m:/usr/local/hadoop# ls

bin          contrib                  hadoop-examples-1.0.1.jar     ivy.xml      NOTICE.txt  webapps

build.xml    docs                     hadoop-minicluster-1.0.1.jar  lib          README.txt

c++          hadoop-ant-1.0.1.jar     hadoop-test-1.0.1.jar         libexec      sbin

CHANGES.txt  hadoop-client-1.0.1.jar  hadoop-tools-1.0.1.jar        LICENSE.txt  share

conf         hadoop-core-1.0.1.jar    ivy                           logs         src

- 현재 디렉토리에서 hadoop 실행

root@cnode16-m:/usr/local/hadoop# hadoop jar hadoop-examples-1.0.1.jar wordcount  /data/test /data/test_output