一、 项目背景与意义

在数字经济时代，彩妆行业竞争日趋激烈，销售数据呈现出海量、多源、高增长的特点。传统的关系型数据库在处理TB/PB级别的销售流水、用户行为、库存等数据时，面临性能瓶颈和扩展性挑战。本项目旨在构建一个基于Hadoop生态体系的数据分析及可视化系统，以解决以下核心问题：

• 海量数据处理：整合线上商城、线下门店、社交媒体等多渠道数据，实现高效存储与计算。
• 深度业务洞察：从销售趋势、用户偏好、产品表现、地域分布等多个维度挖掘数据价值。
• 实时决策支持：通过可视化仪表盘，为市场、运营、供应链等部门提供直观、实时的数据看板，辅助精准营销与库存优化。
• 技术验证与学习：本项目是学习大数据技术栈（HDFS, MapReduce, Hive, Spark, Sqoop等）的绝佳实践案例，体现了从数据采集、存储、计算到展示的完整数据处理流程。

二、 技术栈选型

本系统采用经典的大数据Lambda架构，兼顾批处理与实时/准实时分析需求。

1. 数据存储层

• HDFS (Hadoop Distributed File System)：作为底层分布式文件系统，存储原始日志、交易记录等海量非结构化与半结构化数据。
• HBase：用于存储需要快速随机访问的维度表数据（如产品信息、用户画像标签）。

2. 数据计算与处理层

• MapReduce / Apache Spark：用于复杂的离线批处理任务，如月度销售报表生成、用户聚类分析。Spark凭借其内存计算优势，在迭代计算和交互式查询上性能更优。
• Apache Hive：提供SQL-on-Hadoop能力，方便数据分析师通过类SQL语句（HQL）进行数据查询与汇总，降低使用门槛。
• Apache Sqoop：用于在HDFS与关系型数据库（如MySQL，存储订单主数据）之间进行高效的数据迁移。
• Apache Flume / Kafka：负责从各数据源（如Web服务器日志）实时采集和传输数据到HDFS或Kafka消息队列，供流处理引擎消费。

3. 数据可视化与应用层

• Apache Zeppelin / Hue：提供交互式数据分析和可视化笔记本，支持SQL、Scala、Python等语言，快速生成图表。
• ECharts / Superset：作为专业的前端可视化库或BI工具，用于构建固定报表和动态仪表盘，通过Web页面展示分析结果。
• Spring Boot：构建系统后端API，封装数据处理逻辑，为前端可视化提供数据接口。

三、 系统核心模块与代码示例

1. 数据采集与入库 (使用Sqoop)

将MySQL中的历史订单数据导入HDFS，供后续分析。

# 使用Sqoop将MySQL的`cosmetics_orders`表导入HDFS
sqoop import \
--connect jdbc:mysql://localhost:3306/cosmetics_db \
--username root \
--password 123456 \
--table cosmetics_orders \
--target-dir /user/hadoop/input/cosmetics_orders \
--fields-terminated-by ',' \
--m 1

2. 数据清洗与转换 (使用Hive)

在Hive中创建外部表，映射到HDFS上的数据文件，并进行数据清洗。

-- 1. 创建外部表，关联HDFS数据
CREATE EXTERNAL TABLE IF NOT EXISTS raw_orders (
    order_id BIGINT,
    user_id INT,
    product_id INT,
    quantity INT,
    price DECIMAL(10,2),
    order_date STRING,
    city STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LOCATION '/user/hadoop/input/cosmetics_orders';
-- 2. 创建清洗后的ORC表（列式存储，高效压缩）
CREATE TABLE cleaned_orders (
order_id BIGINT,
user_id INT,
product_id INT,
quantity INT,
amount DECIMAL(10,2), -- 计算金额：quantity * price
order_date DATE,
city STRING,
month STRING
)
STORED AS ORC;
-- 3. 执行ETL，清洗并插入数据
INSERT OVERWRITE TABLE cleaned_orders
SELECT
order_id,
user_id,
product_id,
quantity,
quantity * price as amount,
CAST(order_date AS DATE) as order_date,
city,
SUBSTR(order_date, 1, 7) as month -- 提取年月
FROM raw_orders
WHERE price > 0 AND quantity > 0; -- 过滤无效数据

3. 核心业务分析 (使用Spark SQL)

使用Spark进行多维度聚合分析，计算各产品类别的销售额TopN。

from pyspark.sql import SparkSession
from pyspark.sql.functions import sum, col, desc
初始化SparkSession
spark = SparkSession.builder 

.appName("CosmeticsSalesAnalysis") 

.enableHiveSupport() 

.getOrCreate()
从Hive表读取清洗后的数据
df_orders = spark.sql("SELECT * FROM cleaned_orders")
df_products = spark.sql("SELECT product_id, category FROM cosmetics_products")
关联订单表与产品表
df_joined = df_orders.join(df_products, "product_id")
按产品类别聚合销售额
df_category_sales = df_joined.groupBy("category") 

.agg(sum("amount").alias("total_sales")) 

.orderBy(desc("total_sales"))
显示结果
df_category_sales.show(10)
将结果写回Hive表，供可视化使用
df_category_sales.write.mode("overwrite").saveAsTable("sales_by_category")
spark.stop()

4. 数据可视化接口 (使用Spring Boot)

提供RESTful API，供前端ECharts调用，获取按城市分布的销售数据。

@RestController
@RequestMapping("/api/sales")
public class SalesDataController {
@Autowired
private JdbcTemplate jdbcTemplate; // 假设通过JDBC连接Hive/Spark Thrift Server

@GetMapping("/byCity")
public List<Map<String, Object>> getSalesByCity(@RequestParam String month) {
    String sql = "SELECT city, SUM(amount) as total_sales " +
                 "FROM cleaned_orders " +
                 "WHERE month = ? " +
                 "GROUP BY city " +
                 "ORDER BY total_sales DESC";
    return jdbcTemplate.queryForList(sql, month);
}

@GetMapping("/topProducts")
public List<Map<String, Object>> getTopProducts(@RequestParam(defaultValue = "10") int limit) {
    String sql = "SELECT p.product_name, SUM(o.amount) as sales " +
                 "FROM cleaned_orders o " +
                 "JOIN cosmetics_products p ON o.product_id = p.product_id " +
                 "GROUP BY p.product_name " +
                 "ORDER BY sales DESC " +
                 "LIMIT ?";
    return jdbcTemplate.queryForList(sql, limit);
}
}

四、 可视化展示效果

基于上述数据分析结果，前端可视化可呈现以下关键仪表盘：

• 销售趋势图：折线图展示月度/季度销售额变化。
• 热销产品榜：柱状图展示销售额Top 10的产品。
• 地域分布图：地图或饼图展示各城市销售额占比。
• 用户画像看板：展示购买频次、客单价分布等用户群体特征。

系统最终通过一个统一的Web门户，将分析结论直观地呈现给业务人员，实现数据驱动决策。