博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop mapreduce单元测试工具MRUnit简单使用
阅读量:4111 次
发布时间:2019-05-25

本文共 3586 字,大约阅读时间需要 11 分钟。

hadoop版本:

$ hadoop versionHadoop 0.20.2-cdh3u4Subversion git://ubuntu-slave01/var/lib/jenkins/workspace/CDH3u4-Full-RC/build/cdh3/hadoop20/0.20.2-cdh3u4/source -r 214dd731e3bdb687cb55988d3f47dd9e248c5690Compiled by jenkins on Mon May  7 13:01:39 PDT 2012From source with checksum a60c9795e41a3248b212344fb131c12c

根据版本的不同采用的实现写法略有不同,此处采用的版本详情如下:

org.apache.mrunit
mrunit
1.0.0
hadoop1

其中常用的类如下:

org.apache.hadoop.mrunit.mapreduce.MapDriver;org.apache.hadoop.mrunit.mapreduce.MapReduceDriver;org.apache.hadoop.mrunit.mapreduce.ReduceDriver;

 mapper,combiner和reducer实现的含义描述如下:

CompMapper:把222-333##id1##id2 处理成key为id1##id2,value为1L(出现一次)CompCombiner:对相同的key进行累加CompReducer:吧key为id1##id2,value为long类型的数据进行累加然后除以某一个定值,以double的形式输出

 测试mapper,combiner和reducer的代码如下

private MapDriver
mapDriver;private ReduceDriver
reduceDriver;private ReduceDriver
combinerDriver;private MapReduceDriver
mapCombinerDriver;private MapReduceDriver
mapReducerDriver;@Beforepublic void setUp() { CompMapper mapper = new CompMapper(); CompCombiner combiner = new CompCombiner(); CompReducer reducer = new CompReducer(); mapDriver = new MapDriver
(mapper); reduceDriver = new ReduceDriver
(reducer); combinerDriver = new ReduceDriver
(combiner); mapCombinerDriver = new MapReduceDriver
( mapper, combiner); mapReducerDriver = new MapReduceDriver
( mapper, reducer);}@Testpublic void testMapper() throws IOException { mapDriver.setInput(new Text("222-333##id1##id2"), new LongWritable(1L)); mapDriver.withOutput(new Text("id1##id2"), new LongWritable(1L)); mapDriver.runTest();}@Testpublic void testCombiner() throws IOException { List
values = new ArrayList
(); for (int i = 0; i < 5; i++) { values.add(new LongWritable(NumberUtils.toLong(i + ""))); } combinerDriver.addInput(new Text("id1##id2"), values); combinerDriver.withOutput(new Text("id1##id2"), new LongWritable(10L)); combinerDriver.runTest();}@Testpublic void testReducer() throws IOException { List
values = new ArrayList
(); long count = 0; for (int i = 0; i < 5; i++) { count = count + (long) i; values.add(new LongWritable(NumberUtils.toLong(i + ""))); } reduceDriver.addInput(new Text("id1##id2"), values); int numHash = reduceDriver.getConfiguration().getInt( MinhashOptionCreator.NUM_HASH_FUNCTIONS, 10); DoubleWritable dw = new DoubleWritable(); BigDecimal b1 = new BigDecimal(count); BigDecimal b2 = new BigDecimal(numHash); dw.set(b1.divide(b2).doubleValue()); reduceDriver.withOutput(new Text("id1##id2"), dw); reduceDriver.runTest();}@Testpublic void tetMapCombiner() throws IOException { mapCombinerDriver.addInput(new Text("222-333##id1##id2"), new LongWritable(1L)); mapCombinerDriver.addInput(new Text("111-333##id1##id2"), new LongWritable(1L)); mapCombinerDriver.withOutput(new Text("id1##id2"), new LongWritable(2L)); mapCombinerDriver.runTest();}@Testpublic void tetMapReducer() throws IOException { mapReducerDriver.addInput(new Text("222-333##id1##id2"), new LongWritable(1L)); mapReducerDriver.addInput(new Text("111-333##id1##id2"), new LongWritable(1L)); int numHash = reduceDriver.getConfiguration().getInt( "NUM", 10); DoubleWritable dw = new DoubleWritable(); BigDecimal b1 = new BigDecimal(2L); BigDecimal b2 = new BigDecimal(numHash); dw.set(b1.divide(b2).doubleValue()); mapReducerDriver.withOutput(new Text("id1##id2"), dw); mapReducerDriver.runTest();}

 注意事宜:

1.MRUnit与Hadoop的版本对应关系2.如果报java.lang.IncompatibleClassChangeError错那么就是版本的问题

 

转载地址:http://kjqsi.baihongyu.com/

你可能感兴趣的文章
自定义 select 下拉框 多选插件
查看>>
fastcgi_param 详解
查看>>
poj 1976 A Mini Locomotive (dp 二维01背包)
查看>>
MODULE_DEVICE_TABLE的理解
查看>>
db db2_monitorTool IBM Rational Performace Tester
查看>>
postgresql监控工具pgstatspack的安装及使用
查看>>
【JAVA数据结构】双向链表
查看>>
【JAVA数据结构】先进先出队列
查看>>
乘法逆元
查看>>
Objective-C 基础入门(一)
查看>>
Flutter Boost的router管理
查看>>
iOS开发支付集成之微信支付
查看>>
C++模板
查看>>
【C#】如何实现一个迭代器
查看>>
【C#】利用Conditional属性完成编译忽略
查看>>
DirectX11 光照演示示例Demo
查看>>
VUe+webpack构建单页router应用(一)
查看>>
Node.js-模块和包
查看>>
(python版)《剑指Offer》JZ01:二维数组中的查找
查看>>
管理用户状态——Cookie与Session
查看>>