1. 项目概述：基于Hadoop+Spark+Hive的酒店推荐系统

这个毕业设计项目整合了当前大数据领域最核心的三项技术——Hadoop、Spark和Hive，构建了一个完整的酒店推荐系统解决方案。系统从数据采集（爬虫）、存储处理（Hadoop）、分析计算（Spark）到可视化展示形成闭环，涵盖了大数据处理的全流程。

我在实际企业级项目中多次使用过这套技术栈，发现它特别适合处理酒店行业的海量用户行为数据和房源信息。相比传统数据库方案，这套架构可以轻松应对TB级别的数据处理需求，并且通过Spark的实时计算能力实现分钟级的推荐更新。

2. 系统架构设计

2.1 技术选型解析

Hadoop HDFS ：作为底层分布式文件系统，存储原始爬虫数据（日均约50GB）和清洗后的结构化数据。我们采用3节点集群，配置了128GB内存和10TB存储空间。

实际部署中发现，HDFS的块大小设置为256MB（默认128MB）能更好适应酒店图片等大文件的存储需求。

Spark SQL ：负责核心的推荐算法计算。选择Spark而非MapReduce主要考虑三点：

1. 内存计算使迭代算法快10倍以上
2. 完善的MLlib机器学习库
3. 支持SQL和DataFrame API两种操作方式

Hive ：构建数据仓库层，存储维度建模后的业务数据。我们使用了分区表（按日期分区）和ORC文件格式，查询性能比文本格式提升5-8倍。

2.2 数据流程设计

1. 数据采集层 ：Python爬虫集群（Scrapy+Redis）每天抓取约20万条酒店数据
2. 数据湖层 ：原始JSON数据直接存入HDFS /raw_data目录
3. ETL层 ：Spark作业清洗转换数据，输出到Hive数仓
4. 服务层 ：Spark MLlib训练推荐模型，结果存入MySQL供Web调用
5. 展示层 ：SpringBoot+ECharts实现可视化看板

3. 核心模块实现

3.1 酒店爬虫系统

采用分布式爬虫架构，关键配置参数：

# scrapy-redis配置示例
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
REDIS_URL = 'redis://:password@master:6379/0'

# 反爬策略
DOWNLOAD_DELAY = 0.5
CONCURRENT_REQUESTS = 16 
ROBOTSTXT_OBEY = False

常见问题处理：

• IP被封：使用代理中间件轮换IP池
• 验证码：接入第三方打码平台
• 数据缺失：实现断点续爬机制

3.2 推荐算法实现

使用Spark MLlib的协同过滤算法：

val als = new ALS()
  .setRank(50)
  .setMaxIter(10)
  .setRegParam(0.01)
  .setUserCol("userId")
  .setItemCol("hotelId")
  .setRatingCol("rating")

val model = als.fit(trainingData)
// 为每个用户生成TOP10推荐
val recommendations = model.recommendForAllUsers(10)

算法优化点：

1. 加入时间衰减因子：近期的用户行为权重更高
2. 地域偏好处理：对用户常驻城市酒店加权
3. 冷启动方案：新用户使用热门酒店+地域筛选

3.3 数据可视化方案

前端采用Vue+ECharts实现六大看板：

1. 酒店地域分布热力图
2. 价格区间柱状图
3. 用户评分雷达图
4. 实时预订量折线图
5. 推荐效果转化漏斗图
6. 用户画像标签云

后端接口性能优化：

• 使用Redis缓存热门查询结果
• 对Spark计算结果预聚合
• 采用分页加载大数据集

4. 集群部署实战

4.1 Hadoop集群搭建

典型配置文件示例（hdfs-site.xml）：

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.blocksize</name>
  <value>268435456</value> <!-- 256MB -->
</property>
<property>
  <name>dfs.namenode.handler.count</name>
  <value>100</value> 
</property>

4.2 Hive元数据管理

我们选择MySQL作为Hive元数据库，关键配置：

CREATE DATABASE hive_metadata;
GRANT ALL ON hive_metadata.* TO 'hive'@'%' IDENTIFIED BY 'password';

-- 执行schematool初始化
schematool -initSchema -dbType mysql

4.3 Spark调优参数

提交作业时的关键参数：

spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --num-executors 10 \
  --executor-cores 4 \
  --executor-memory 8G \
  --driver-memory 4G \
  --conf spark.sql.shuffle.partitions=200 \
  --conf spark.default.parallelism=200 \
  your_app.jar

5. 开发经验与避坑指南

5.1 数据一致性保障

在实现过程中发现几个关键问题：

1. 增量更新问题 ：解决方案是给每条数据添加版本号和时间戳
2. 维度变化处理 ：采用拉链表技术保存历史维度
3. 数据去重 ：使用Spark的dropDuplicates结合业务主键

5.2 性能优化实录

通过以下手段将推荐计算耗时从2小时降到15分钟：

1. 将Spark缓存级别从MEMORY_ONLY改为MEMORY_ONLY_SER
2. 对频繁使用的DataFrame进行persist()
3. 优化Hive表分区策略（按dt和city两级分区）
4. 调整Spark shuffle分区数为集群核数的2-3倍

5.3 毕业设计答辩技巧

根据指导经验，建议重点准备：

1. 技术对比：传统方案与本方案的QPS对比
2. 创新点展示：如实时推荐更新机制
3. 难点解决方案：如海量数据去重算法
4. 可视化演示：准备3套不同查询场景的demo

6. 扩展方向建议

这个基础框架还可以进一步扩展：

1. 接入实时流处理（Kafka+Spark Streaming）
2. 加入NLP处理用户评论情感分析
3. 实现AB测试推荐效果对比
4. 构建用户画像标签体系

我在实际部署中发现，当数据量超过1TB时，可以考虑引入HBase存储用户画像数据，用Presto实现即席查询，这些都是在企业环境中验证过的成熟方案。