一、项目背景

在数字经济时代，电子商务已深度融入社会生活，成为主导性的零售模式。其中，手机作为高频次、高价值的电子产品，其线上销售市场呈现出空前激烈的竞争态势。各大电商平台每日产生TB级别的交易日志、用户行为数据与产品信息，这些数据不仅记录了销售结果，更蕴含着市场格局、消费者偏好、产品竞争力与营销策略效果的深层逻辑。

然而，电商原生数据通常具有典型的“大数据”特征：体积巨大，源于亿级用户的点击与交易；速度极快，数据流持续实时产生；种类繁多，包括结构化的订单信息、半结构化的商品详情与非结构化的用户评论。面对如此海量异构的数据，传统的数据处理与分析方法，如单一数据库SQL查询或桌面电子表格，在存储扩展性、计算效率和深度分析能力上已捉襟见肘。企业决策者往往难以及时、全面地回答一些核心问题：不同品牌/型号的手机销量趋势如何？用户评论的情感倾向与产品缺陷有何关联？何种配置与价位的手机最受市场欢迎？这种数据分析的滞后与片面，直接导致了市场反应迟钝、营销策略粗放与库存管理失衡。

以Hadoop和Spark为核心的分布式计算生态，为应对这一挑战提供了强大的技术基础。Hive构建在Hadoop之上，能够将结构化的数据文件映射为一张数据库表，并提供类SQL的查询功能，极大地降低了对大规模数据集进行离线统计和分析的技术门槛。Spark则凭借其卓越的内存计算模型，在数据清洗、转换和复杂迭代分析任务上提供了比传统MapReduce高数个量级的处理速度。结合 Python/Java 编写的爬虫程序可以从电商网站补充获取动态价格与评论数据，Spark 负责核心的数据处理与分析，处理后的结果可存入 MySQL 供在线查询，或直接由 Hive 管理。最终，通过 Flask 轻量级Web框架搭建应用，并利用 Echarts 前端库进行丰富的图表展示，可以构建一个完整的数据价值链。

基于上述行业需求与技术可行性，本毕业设计旨在设计并实现一个“基于Spark+Hive大数据技术的电商网站手机销量数据分析系统”。该系统将构建一个从多源数据采集、分布式存储、大规模并行计算到交互式可视化呈现的完整解决方案。通过对海量电商手机数据进行深度挖掘与多维度分析，本系统旨在为手机制造商、电商平台运营商及市场分析师提供一个直观、高效的数据驱动决策支持平台，助力其精准把握市场动态、优化产品策略并提升商业智能水平。

二、技术功能介绍

涉及技术:Python、Java【爬虫】、Spark【数据清洗与分析】、MySQL/Hive【数据存储】、Echarts【图表展示】、Flask【数据可视化】等

本项目基于大数据技术，针对手机商品进行了全面的数据采集、清洗、分析与可视化展示。

1、数据爬取模块：使用Java编写爬虫，抓取手机商品基本信息与详细信息，数据存储于url.csv和detail.csv，为后续分析提供基础；
2、数据清洗模块：采用Scala和Spark对爬取数据进行清洗、格式统一和字段提取，清洗结果写入Hive的ods层和dwd层；
3、数据分析模块：基于Spark SQL和Hive清洗数据，多维度分析手机商品的价格和销量，覆盖屏幕分辨率、充电功率、内存、CPU型号、摄像头像素、屏幕材质等，生成八类分析结果表；
4、数据导出模块：将分析结果和原始数据从Hive导出至MySQL，支持前端展示和系统维护；
5、数据可视化模块：展示不同手机品牌销量、屏幕分辨率价格分布、屏幕材质价格分布、充电功率销量分布、内存容量销量分布、CPU型号销量分布、前摄像头像素价格分布、后摄像头像素价格分布等多维度图表。
 

三、系统实现