如何运行自带wordcount
- 提问者网友：無理詩人
- 2021-11-20 07:13
- 五星知识达人网友：十年萤火照君眠
- 2021-11-20 08:35
1、在linux系统中，所在目录“/home/kcm”下创建一个文件input
[ubuntu@701~]$ mkdir input
2.在文件夹input中创建两个文本文件file1.txt和file2.txt，file1.txt中内容是“hello word”,file2.txt中内容是“hello hadoop”、“hello mapreduce”(分两行)。
[ubuntu@701~]$ cd input
[ubuntu@701~]$ vi file1.txt（编辑文件并保存）
[ubuntu@701~]$ vi file2.txt（编辑文件并保存）
[ubuntu@701~]$ ls -l /home/kcm/input
file1.txt file2.txt
显示文件内容可用：
[ubuntu@701~]$ cat/home/kcm/input/file1.txt
hello word
[ubuntu@701~]$ cat /home/kcm/input/file2.txt
hello mapreduce
hello hadoop
3.在HDFS上创建输入文件夹wc_input,并将本地文件夹input中的两个文本文件上传到集群的wc_input下
[ubuntu@701~]$ hadoop fs -mkdir wc_input
[ubuntu@701~]$ hadoop fs -put/home/kcm/input/file* wc_input
查看wc_input中的文件：
[ubuntu@701~]$ /hadoop fs -ls wc_input
Found 2 items
-rw-r--r-- 1 root supergroup 11 2014-03-13 01:19 /user/hadoop/wc_input/file1.txt
-rw-r--r-- 1 root supergroup 29 2014-03-13 01:19 /user/hadoop/wc_input/file2.txt
4.首先，在window下将wordcount进行打包，我们这里把它打包成wordcount.jar；然后，将wordcount.jar拷贝到linux系统中，存放的目录自己决定即可。我们这里存放到/home/kcm目录下面。
5.运行wordcount.jar包（转到该jar包存放的目录下）：
[ubuntu@701~]$ hadoop jar wordcount.jar /user/hadoop/wc_input /user/hadoop/output
- 1楼网友：長槍戰八方
- 2021-11-20 11:36
- 2楼网友：春色三分
- 2021-11-20 10:08
1.找到examples例子
我们需要找打这个例子的位置：首先需要找到你的hadoop文件夹，然后依照下面路径：
/hadoop/share/hadoop/mapreduce会看到如下图：
hadoop-mapreduce-examples-2.2.0.jar
第二步：
我们需要需要做一下运行需要的工作，比如输入输出路径，上传什么文件等。
1.先在HDFS创建几个数据目录：
hadoop fs -mkdir -p /data/wordcount
hadoop fs -mkdir -p /output/
2.目录/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，运行这个MapReduce任务的结果输出到/output/wordcount目录中。
首先新建文件inputWord：
vi /usr/inputWord
新建完毕，查看内容：
cat /usr/inputWord
将本地文件上传到HDFS中：
hadoop fs -put /usr/inputWord /data/wordcount/
可以查看上传后的文件情况，执行如下命令：
hadoop fs -ls /data/wordcount
可以看到上传到HDFS中的文件。
通过命令
hadoop fs -text /data/wordcount/inputWord
看到如下内容：
下面，运行WordCount例子，执行如下命令：
hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /data/wordcount /output/wordcount
可以看到控制台输出程序运行的信息
查看结果，执行如下命令：
hadoop fs -text /output/wordcount/part-r-00000
结果数据示例如下：
登录到Web控制台，访问链接http.//master:8088/可以看到任务记录情况。