一、 背景与意义

随着流媒体平台和数字电视的快速发展，电视剧收视数据呈现出爆炸式增长。传统的单机数据库和分析工具在处理海量、高并发的收视日志时，面临存储瓶颈、计算性能不足和实时性差等挑战。基于Hadoop的大数据技术栈，以其高扩展性、高容错性和强大的批处理能力，为构建高效、可靠的电视剧收视率分析系统提供了理想的解决方案。

本系统的设计与实现具有以下重要意义：

• 海量数据处理：能够存储和处理PB级别的收视日志，满足长期历史数据分析需求。
• 深度洞察：通过多维度分析（如时段、地域、用户画像），挖掘收视行为模式，为内容制作、编排和广告投放提供数据支撑。
• 技术实践价值：为大数据技术在文娱领域的落地应用提供了一个完整的工程案例，涉及数据采集、存储、计算和可视化全链路。

二、 系统技术栈

系统采用经典的大数据分层架构，主要技术组件如下：

三、 系统核心设计与实现

3.1 系统架构设计

系统整体架构分为四层：

1. 数据源层：各终端设备产生的原始收视日志。
2. 数据采集与存储层：使用Flume进行日志收集，通过Kafka缓冲后写入HDFS。
3. 数据处理与分析层：核心层。利用MapReduce进行基础收视率统计（如收视人数、时长），利用Spark SQL/Spark Streaming进行实时趋势分析和用户画像计算，利用Hive进行离线多维分析。
4. 数据应用层：通过Sqoop将Hive结果表同步至MySQL，由Spring Boot后端提供API，前端通过ECharts图表展示收视率排行、时段分布、地域热力图等。

3.2 核心代码实现（MapReduce示例）

以下是一个计算每部电视剧总收视时长的MapReduce核心代码示例：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;
/**
电视剧收视时长统计
输入数据格式：userId, tvId, startTime, endTime, channel
*/
public class TvPlayDuration {
public static class DurationMapper extends Mapper<LongWritable, Text, Text, LongWritable> {
private Text tvId = new Text();
private LongWritable duration = new LongWritable();
 @Override
 protected void map(LongWritable key, Text value, Context context)
         throws IOException, InterruptedException {
     String[] fields = value.toString().split(",");
     if (fields.length &gt;= 4) {
         try {
             String currentTvId = fields[1].trim();
             long start = Long.parseLong(fields[2].trim());
             long end = Long.parseLong(fields[3].trim());
             long watchTime = end - start; // 计算单次观看时长（秒）

             if (watchTime &gt; 0) {
                 tvId.set(currentTvId);
                 duration.set(watchTime);
                 context.write(tvId, duration);
             }
         } catch (NumberFormatException e) {
             // 忽略格式错误的数据
         }
     }
 }
}
public static class DurationReducer extends Reducer<Text, LongWritable, Text, LongWritable> {
private LongWritable totalDuration = new LongWritable();
 @Override
 protected void reduce(Text key, Iterable&lt;LongWritable&gt; values, Context context)
         throws IOException, InterruptedException {
     long sum = 0;
     for (LongWritable val : values) {
         sum += val.get();
     }
     totalDuration.set(sum);
     context.write(key, totalDuration); // 输出：电视剧ID， 总收视时长（秒）
 }
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "TvPlay Duration Stat");
job.setJarByClass(TvPlayDuration.class);
 job.setMapperClass(DurationMapper.class);
 job.setReducerClass(DurationReducer.class);

 job.setOutputKeyClass(Text.class);
 job.setOutputValueClass(LongWritable.class);

 FileInputFormat.addInputPath(job, new Path(args[0]));
 FileOutputFormat.setOutputPath(job, new Path(args[1]));

 System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}

代码说明：该MapReduce程序读取格式化的收视日志，Mapper解析每条记录，提取电视剧ID和单次观看时长并输出；Reducer对同一电视剧ID的所有观看时长进行求和，最终得到每部剧的总收视时长。

3.3 数据分析流程（Hive SQL示例）

基于清洗后的数据，在Hive中创建表并执行分析：

-- 1. 创建原始日志外部表（指向HDFS）
CREATE EXTERNAL TABLE IF NOT EXISTS tv_view_logs (
    user_id STRING,
    tv_id STRING,
    start_time BIGINT,
    end_time BIGINT,
    province STRING,
    device_type STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LOCATION '/user/hadoop/tv_logs/';
-- 2. 创建日粒度收视率汇总表
CREATE TABLE tv_daily_stats AS
SELECT
tv_id,
from_unixtime(start_time, 'yyyy-MM-dd') as view_date,
province,
COUNT(DISTINCT user_id) as uv, -- 观看人数
COUNT(*) as pv, -- 观看次数
SUM(end_time - start_time) as total_duration -- 总时长
FROM tv_view_logs
WHERE end_time > start_time
GROUP BY tv_id, from_unixtime(start_time, 'yyyy-MM-dd'), province;
-- 3. 查询某日收视率TOP 10
SELECT tv_id, uv, total_duration
FROM tv_daily_stats
WHERE view_date = '2023-10-27'
ORDER BY uv DESC
LIMIT 10;

四、 总结与展望

本文设计并实现了一个基于Hadoop生态的电视剧收视率分析系统。通过整合Flume、HDFS、MapReduce、Hive、Spark等技术，构建了从数据采集到可视化展示的完整流水线，实现了对海量收视数据的高效存储与多维度分析。核心MapReduce程序与Hive SQL示例展示了如何进行关键指标的计算。

未来，系统可以在以下方面进行优化：引入Flink实现更精准的实时收视分析；结合机器学习算法进行收视预测和内容推荐；优化数据模型以支持更复杂的用户行为路径分析。