MapReduce分析日志---代码流程解读

最新推荐文章于 2025-05-08 13:08:49 发布

shb19891

最新推荐文章于 2025-05-08 13:08:49 发布

阅读量2.9k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Hadoop学习文章标签： Hadoop mapreduce 数据入门笔记

本文链接：https://blog.csdn.net/shb19891/article/details/50320405

本文通过MapReduce分析网站访问记录，深入理解Hadoop MapReduce的工作流程。针对原作者代码进行适配更新，并记录遇到的问题及解决方案，便于日后查阅。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原文链接：http://blog.fens.me/hadoop-mapreduce-log-kpi/

数据类来源：网站访问记录

先上代码：

对原作者的代码进行了部分更改以适应新版本的Hadoop，同时记录下自己的问题和查找答案，方便以后快速回忆

package org.apache.hadoop.examples;

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.HashSet;
import java.util.Locale;
import java.util.Set;

public class Kpi {//bean，将数据封装，转化为String

	private String remote_add;
	private String remote_user;
	private String time_local;
	private String request;
	private String statues;
	private String body_bytes_sent;
	private String http_referer;
	private String http_user_agent;
	private boolean valid = true;
	
	public String toString(){
		StringBuilder sb = new StringBuilder();
		sb.append("valid:"+this.valid);
		sb.append("\nremote:_addr:"+this.remote_add);
		sb.append("\nremote_user:"+this.remote_user);
		sb.append("\ntime_local:"+this.time_local);
		sb.append("\request:"+this.request);
		sb.append("\nstatues:"+this.statues);
		sb.append("\nbody_statues:"+this.body_bytes_sent);
		sb.append("\nhttp_referer:"+this.http_referer);
		sb.append("\nhttp_user_agent:"+this.http_user_agent);
		return sb.toString();
	}

	public String getRemote_add() {
		return remote_add;
	}

	public void setRemote_add(String remote_add) {
		this.remote_add = remote_add;
	}

	public String getRemote_user() {
		return remote_user;
	}

	public void setRemote_user(String remote_user) {
		this.remote_user = remote_user;
	}

	public String getTime_local() {
		return time_local;
	}

	public void setTime_local(String time_local) {
		this.time_local = time_local;
	}

	public String getRequest() {
		return request;
	}

	public void setRequest(String request) {
		this.request = request;
	}

	public String getStatues() {
		return statues;
	}

	public void setStatues(String statues) {
		this.statues