编程实现Hadoop按日期统计访问次数

一、实训目标

（1）编程实现按日期统计访问次数

二、实训环境

（1）使用CentOSd Linux操作系统搭建的3个节点

（2）使用JDK

（3）使用Hadoop

三、实训内容

（1）统计用户在2016年度每个自然日的总访问次数，数据格式如图，第一列为用户名，第二列为登录的日期。

四、实例步骤

4.1分析思路与处理逻辑

数据总共有两列，第一列为用户名，第二列为登录的日期，想要统计每个自然日，也就是每一天的访问次数，可以转换为对日期值的词频统计，只要统计出每个日期出现的次数，就可以知道对应日期的日访问次数。将思路转化为MapReduce编程逻辑，需要从以下3个模块考虑。

（1）输入输出格式

（2）Mapper要实现 的计算逻辑

（3）Reducer要实现的计算逻辑

接下来依次分析这几个模块的解决思路与处理逻辑。

1.定义输出格式

通过统计日期的词频来统计每个自然日的访问次数，那么Map的输出就是<访问日期，1>，Reduce输出就是<访问日期，访问次数>。

社区网站用户的访问日期，在格式上都属于文本格式，访问次数为整型数值格式。组成的键值对为<访问日期，访问次数>，因此Map的输出与Reduce的输出都选用Text类与IntWritable类。

2.Mapper类的逻辑实现

Mapper类中最主要的部分就是map函数。map函数的主要任务是读取用户访问文件中的数据，输出所有访问日期与初始次数的键值对。因为访问日期是数据文件中的第2列，所以先定义一个数组后，再提取第2个元素，与初始次数1一起构成要输出的键值对，即<访问日期，1>。

以下为伪代码来编写Mapper的处理逻辑，代码如下

3.Reducer类的逻辑实现

Reducer类中最主要的部分就是reduce函数，reduce函数的主要任务就是读取Mapper输出的键值对<访问日期，1>。这一部分的处理逻辑与官方示例wordcount中的Reducer完全相同。如图

4.2编写核心模块代码

（1）编写Mapper模块代码

package cn.demo.myfriend.data;
​
import java.io.IOException;
​
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
​
/**
 * 
 * @author zhongyulin
 *   LongWritable   输入的偏移量
 *   Text    输入的数据
 *   Text    输出的key
 *   IntWritable    输出的value
 */
public class MyMapper extends Mapper {
    
    private final static IntWritable one=new IntWritable(1);
    
    @Override
    protected void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
          String line=value.toString();
          //按规则拆分成数组
          String[] arry=line.split(",");
          String keyout=arry[1];
          context.write(new Text(keyout),one);
    }
}

（2）编写Reducer模块代码

package cn.demo.myfriend.data;
​
import java.io.IOException;
​
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
​
/**
 * Reducer模块
 * @author zhongyulin
 *
 */
public class MyReducer extends Reducer {
    
    private IntWritable result=new IntWritable();
    @Override
    protected void reduce(Text key, Iterable values,
            Context context) throws IOException, InterruptedException {
         int sum=0;
         for (IntWritable val : values) {
            sum +=val.get();
        }
         result.set(sum);
         context.write(key, result);
    }
}

（3）编写Dirver模块

//编写Driver
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        //1.初始化相应的hadoop配置
        Configuration conf = new Configuration();
        //收集异常信息
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
        if(otherArgs.length<2){
            System.err.println("需要两个参数，第一个参数是输入文件路径，第二个参数是输出文件路径");
            System.exit(2);
        }
        //2.新建job并且设置主类，这里的job实例需要把configuraction的实例传入，后面的“word count”是该mapreduce任务的名字
        Job job = Job.getInstance(conf,"Daily Access Aount");
         //3.设置jar包名 通过类型名生成
        job.setJarByClass(DailyAccessCount.class);
        job.setMapperClass(MyMapper.class);//TODO
        //4.里面类名为实际任务的Mapper
        //设置combiner类，可选 优化处理
        job.setReducerClass(MyReducer.class);//TODO
        //5.里面的类名是为实际任务的reducer
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        //6.设置输出键值对类型 ，如果map和reducer输出类型一样，只需要设置总输出
        //设置读取的文件路径
         //hadoop jar ...jar  wordcount /路径1 /路径2
        for (int i = 0; i < otherArgs.length-1; i++) {
            FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
        }
        //设置输出的文件路径
        for (String str : otherArgs) {
            FileOutputFormat.setOutputPath(job, new Path(str));
        }
        System.exit(job.waitForCompletion(true)?0:1);
        //7.提交mapreduce任务运行（固定写法），并等待任务运行结束
        
    }

4.3任务实现

在本地上创建一个user_login.txt内容如下

Nehru,2016-01-01
Dane,2016-01-01
Walter,2016-01-01
Gloria,2016-01-01
Clarke,2016-01-01
Madeline,2016-01-01
Kevyn,2016-01-01
Rebecca,2016-01-01
Calista,2016-01-01
Lana,2016-01-01
Phoebe,2016-01-01
Clayton,2016-01-01
Kimberly,2016-01-01
Drew,2016-01-01
Giselle,2016-01-01
Nolan,2016-01-01
Madeson,2016-01-01
Janna,2016-01-01
Raja,2016-01-01
Aurelia,2016-02-01
Wynter,2016-02-01
Mari,2016-02-01
Molly,2016-02-01
Marshall,2016-02-01
Brynne,2016-02-01
Hannah,2016-02-01
Whilemina,2016-02-01
Gage,2016-02-01
Wallace,2016-03-15
Penelope,2016-03-15
Ursa,2016-03-15
Cassidy,2016-03-15
Venus,2016-03-15
Ethan,2016-03-15
Regina,2016-03-15
Orla,2016-03-15
Avram,2016-03-15
Barry,2016-03-15
Dalton,2016-03-15
Rhea,2016-03-15
Patrick,2016-03-15
Unity,2016-03-15
Zachary,2016-03-15
Hedley,2016-03-15
Sasha,2016-03-15

在集群上创建一个文件夹user

（1）上传文件/opt/user_login.txt到/user

hdfs dfs -put /opt/user_login.txt /user

（2）在工程src下创建一个test包，创建类dailyAccessCount.java ，类中完整内容如下

package dailyAccessCount;
 
import java.io.IOException;
import java.util.StringTokenizer;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.examples.WordCount;
import org.apache.hadoop.examples.WordCount.IntSumReducer;
import org.apache.hadoop.examples.WordCount.TokenizerMapper;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.Mapper.Context;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
 
 
 
/**
 * 任务目标是统计用户在2019年每个自然日的总访问次数
 * 原始数据文件中提供了用户名称和访问日期
 * @author student
 *  想要的数据格式：2019-11-06  3
 *  oax,2019-11-06
 *  map任务输出格式：2019-11-06，1
 *  reduce任务输出格式：2019-11-06，3
 */
public class DailyAccessCount {
    //extends Mapper 变成一个map模块
     //1.继承Mapper
      //2.设置输入/输出键值对类型 tips:输出对类型需要和Driver中设置的mapper输出的键值对类型保持一致
    public static class MyMapper extends Mapper{
        private final static IntWritable one = new IntWritable(1) ;
        //3.编写map方法，针对每条输入键值对执行函数中定义的逻辑处理，并按照规定的键值对格式输出。
        @Override
        public void map(Object key, Text value, Mapper.Context context)
                throws IOException, InterruptedException {
            String array[] = value.toString().split(",");
            //4.mapper输出内容
            context.write(new Text(array[1]), one);
        }
    }
     //extends Reducer 变成一个reducer 模块
      //1.继承reducer类
      //2.设置输入\输出格式  (reducer输入格式是是mapper的输出格式，reducer输出格式要个driver中设置reducer输出格式保持一致)
      public static class MyReducer extends Reducer{
          //3.编写reduce  对shuffle处理后的map数据进行处理
          @Override
        public void reduce(Text key, Iterable values,
                Reducer.Context context) throws IOException, InterruptedException {
              int sum = 0 ;
              for (IntWritable value : values) {
                sum = sum + value.get();
              }
              //4.输出内容 
              context.write(key, new IntWritable(sum));
        }
        
      }    
    
            
      
    //编写Driver
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        //1.初始化相应的hadoop配置
        Configuration conf = new Configuration();
        //收集异常信息
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
        if(otherArgs.length<2){
            System.err.println("需要两个参数，第一个参数是输入文件路径，第二个参数是输出文件路径");
            System.exit(2);
        }
        //2.新建job并且设置主类，这里的job实例需要把configuraction的实例传入，后面的“word count”是该mapreduce任务的名字
        Job job = Job.getInstance(conf,"Daily Access Aount");
         //3.设置jar包名 通过类型名生成
        job.setJarByClass(DailyAccessCount.class);
        job.setMapperClass(MyMapper.class);//TODO
        //4.里面类名为实际任务的Mapper
        //设置combiner类，可选 优化处理
        job.setReducerClass(MyReducer.class);//TODO
        //5.里面的类名是为实际任务的reducer
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        //6.设置输出键值对类型 ，如果map和reducer输出类型一样，只需要设置总输出
        //设置读取的文件路径
         //hadoop jar ...jar  wordcount /路径1 /路径2
        for (int i = 0; i < otherArgs.length-1; i++) {
            FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
        }
        //设置输出的文件路径
        for (String str : otherArgs) {
            FileOutputFormat.setOutputPath(job, new Path(str));
        }
        System.exit(job.waitForCompletion(true)?0:1);
        //7.提交mapreduce任务运行（固定写法），并等待任务运行结束
        
    }
}

（3）编译打包程序，生成JAR文件

dailyAccessCount.jar。右键单击dailyAccessCount类，选择“Export” a "java" a "jar file" ,单击“next”在所示界面填写jar文件名称和jar文件存放路径，单击“finish”

将dailyAccessCount.java生成jar包上传到hadoop的/opt目录下

（4）在jar文件所在目录，以hadoop jar命令提交任务，具体命令如下

hadoop jar dailyAccessCount.jar test.dailyAccessCount /user/user_login.txt /user/AccessCount

（5）检查输出结果类似如下

1.在HDFS中/user/AccessCount/part-r-00000下即可查看结果

2.集群监控查看如下

结论比较：数据量比较低，节点比较少

/***
 *             ,%%%%%%%%,
 *           ,%%/\%%%%/\%%
 *          ,%%%\c "" J/%%%
 * %.       %%%%/ o  o \%%%
 * `%%.     %%%%    _  |%%%
 *  `%%     `%%%%(__Y__)%%'
 *  //       ;%%%%`\-/%%%'
 * ((       /  `%%%%%%%'
 *  \    .'          |
 *   \  /       \  | |
 *    \/         ) | |
 *     \         /_ | |__
 *     (___________))))))) 攻城湿
 */
​