运行MapReduce任务

站长

发表文章数:4245

android之Activity的创建与关闭

1:运行MapReduce任务

1:原始数据准备

统计用户的登录次数:

源数据login_log.txt如下:

7whygb5m@linshiyouxiang.net

nuahvuhuoia@qq.com

uashkufawuk@163.com

wafwqfqw@gmail.com

iuhukawhfuk@sina.com

wfkwbfkuw@tom.com

iuqwhfuihuqiw@yahoo.com  

hiuwqhuiryquiw545@yahoo.com

uiwqyiuyr7qwrqa@sohu.com

2:应用程序准备

集群目录:

$HADOOP_HOME/share/hadoop/mapreduce/中找到程序包:

hadoop-mapreduce-examples-2.6.4.jar

该程序包提供了一些测试模块:

wordcount   //对输入文件中的单词进行词频统计

pi   //估算圆周率pi的值

wordmean  //计算输入文件中单词的平均长度

 

混沌工程-初识

3:提交任务指令解析

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar

wordcount  /user/root/login_log.txt  /user/root/output

说明:

wordcount  //指定程序包的主类

/user/root/login_log.txt   //hdfs上需要计算的源文件

/user/root/output   //hdfs上输出文件的目录

 

4:查看输出结果

在/user/root/output目录下有两个文件:

_SUCCESS  //这是标识文件,表示这个任务执行完成

part-r-00000   //完成任务后产生的结果文件

 

输出前5行:

hadoop fs -cat /user/root/output/part-r-00000 | head -n 5

5:查看集群的资源管理情况

https://master:18088

查看计算资源的使用情况

查看mapreduce的任务列表

查看具体作业的详细信息

 

深入理解JDK中的Reference原理和源码实现

未经允许不得转载:www.xssyun.com作者:站长, 转载或复制请以 超链接形式 并注明出处 xss云之家-资源网,新人技术交流平台,一个湖北娃的个人博客
原文地址:《运行MapReduce任务》 发布于2020-02-07

分享到:
赞(0) 生成海报

长按图片转发给朋友

投稿赚钱
2020年在家赚取零花钱
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册