1. 项目概述：旅游推荐系统的全栈实现

这个毕业设计项目是一个典型的"大数据+全栈开发"综合实践案例，核心目标是通过分析宁波旅游数据，构建一个具备智能推荐功能的旅游服务平台。系统采用Hadoop处理海量景点数据，SpringBoot搭建业务后端，配合MySQL关系型数据库，最终通过可视化界面展示推荐结果和周边商城服务。

从技术架构来看，项目涵盖了大数据处理的完整链路：数据采集→存储→计算→应用→展示。这种架构设计既符合当前企业级应用的主流技术选型（Hadoop+SpringBoot+MySQL），又能充分展示学生在分布式计算、Web开发和数据可视化等多方面的能力。

提示：选择这类"大数据+业务系统"的组合型毕设时，建议优先考虑自己熟悉的编程语言和技术栈。虽然Hadoop生态主要基于Java，但Python开发者也可以通过PySpark等工具参与大数据处理环节。

2. 核心技术栈解析

2.1 Hadoop生态系统实战

作为项目的核心数据处理引擎，Hadoop的部署方案直接影响系统性能。考虑到毕业设计的硬件限制，推荐以下两种配置方案：

1. 伪分布式模式 （单机模拟集群）

<!-- core-site.xml 关键配置 -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:9000</value>
</property>

2. Docker容器化部署 （适合资源有限的环境）

# 使用官方Hadoop镜像快速部署
docker run -it --name hadoop -p 9000:9000 -p 8088:8088 sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash

实际处理流程中，MapReduce作业的设计尤为关键。以景点热度计算为例：

public class TouristSpotMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text spotName = new Text();
    
    public void map(LongWritable key, Text value, Context context) 
        throws IOException, InterruptedException {
        String[] data = value.toString().split(",");
        spotName.set(data[0]); // 假设第一列为景点名称
        context.write(spotName, one);
    }
}

2.2 SpringBoot后端工程化

SpringBoot的应用使传统Hadoop项目获得了现代Web开发能力。建议采用多模块架构：

tour-recommend-system
├── recommend-core    // 核心算法模块
├── recommend-web     // Web接口层
├── recommend-data    // 数据访问层
└── recommend-common  // 公共组件

关键配置示例（application.yml）：

spring:
  datasource:
    url: jdbc:mysql://localhost:3306/tour_db?useSSL=false
    username: root
    password: 123456
    driver-class-name: com.mysql.cj.jdbc.Driver
    
  hadoop:
    fs-uri: hdfs://localhost:9000
    resource-manager-host: localhost
    resource-manager-port: 8088

2.3 混合存储架构设计

系统采用MySQL+HDFS的混合存储方案：

数据类型	存储方案	示例
用户基本信息	MySQL	用户表、订单表
景点静态数据	MySQL	景点详情、票价信息
用户行为日志	HDFS	点击流、搜索记录
特征向量	HDFS序列文件	用户偏好向量、景点特征

这种设计既保证了事务性数据的ACID特性，又利用HDFS实现了海量日志的高效存储。

3. 推荐算法实现细节

3.1 数据预处理流程

原始数据需要经过以下处理步骤：

1. 数据清洗 ：

   • 去除重复景点记录
   • 补全缺失的地理坐标
   • 标准化评分格式（统一为5分制）

2. 特征工程 ：

# 使用Spark MLlib进行特征提取（示例）
from pyspark.ml.feature import VectorAssembler

assembler = VectorAssembler(
    inputCols=["price", "rating", "distance"],
    outputCol="features"
)

3. 数据分区策略 ：
   • 按用户ID哈希分区（保证同一用户数据在相同节点）
   • 热数据单独缓存（如热门景点信息）

3.2 混合推荐算法

系统采用基于内容的推荐+协同过滤的混合策略：

1. 基于内容的推荐 ：

   • 使用TF-IDF分析景点描述文本
   • 构建景点特征矩阵
   • 计算余弦相似度

2. 协同过滤改进 ：

// 使用Mahout实现ItemCF
DataModel model = new FileDataModel(new File("ratings.csv"));
ItemSimilarity similarity = new PearsonCorrelationSimilarity(model);
GenericItemBasedRecommender recommender = 
    new GenericItemBasedRecommender(model, similarity);

3. 冷启动解决方案 ：
   • 新用户：采用地域热门推荐
   • 新景点：基于分类标签推荐

4. 可视化系统实现

4.1 技术选型对比

技术方案	优点	缺点
ECharts	丰富的图表类型	需要额外集成
Highcharts	商业级可视化	免费版功能受限
D3.js	高度定制化	学习曲线陡峭
AntV	专业地理可视化	文档不够完善

最终选择ECharts+百度地图的组合，实现以下功能模块：

1. 热力图展示 ：

function initHeatMap() {
  const chart = echarts.init(document.getElementById('map'));
  const option = {
    bmap: {
      center: [121.55, 29.88], // 宁波中心坐标
      zoom: 12
    },
    series: [{
      type: 'heatmap',
      coordinateSystem: 'bmap',
      data: heatData
    }]
  };
  chart.setOption(option);
}

2. 用户行为分析看板 ：
   • 实时访问量折线图
   • 景点偏好雷达图
   • 用户分布散点图

4.2 周边商城集成方案

商城模块采用微服务架构独立部署，通过REST API与主系统交互：

GET /api/shops?lat=29.87&lng=121.54&radius=2000
Response:
{
  "shops": [
    {
      "id": 101,
      "name": "鼓楼特产店",
      "distance": 450,
      "tags": ["特产", "伴手礼"]
    }
  ]
}

关键集成点：

• 地理位置服务（GeoHash编码）
• 实时库存查询
• 联合推荐算法（景点+商品）

5. 开发实战经验

5.1 环境配置避坑指南

1. Hadoop版本兼容性 ：

   • Hadoop 3.x与旧版API存在差异
   • 建议统一使用Hadoop 2.7.7稳定版

2. 内存优化配置 ：

<!-- mapred-site.xml -->
<property>
  <name>mapreduce.map.memory.mb</name>
  <value>1024</value> <!-- 根据机器配置调整 -->
</property>

3. 常见异常处理 ：
   • ClassNotFoundException ：检查Hadoop类路径
   • ConnectException ：确认HDFS服务状态
   • DiskErrorException ：检查磁盘空间

5.2 性能优化技巧

1. MapReduce优化 ：

   • 合理设置Reduce任务数（建议为节点数的0.95-1.75倍）
   • 使用Combiner减少网络传输
   • 避免大文件切分（调整 mapreduce.input.fileinputformat.split.minsize ）

2. SpringBoot缓存策略 ：

@Cacheable(value = "spots", key = "#root.args[0]")
public Spot getSpotById(String id) {
    // 数据库查询
}

3. MySQL索引优化 ：
   • 为经纬度字段添加复合索引
   • 使用EXPLAIN分析慢查询

6. 毕设答辩要点

6.1 技术亮点展示

1. 架构设计图 ：

   • 数据流向示意图
   • 微服务调用关系
   • 集群部署拓扑

2. 关键算法对比实验 ：

   • 准确率/召回率指标
   • 响应时间对比
   • 冷启动效果评估

3. 系统演示技巧 ：

   • 准备多组测试数据
   • 展示异常处理场景
   • 对比推荐结果差异

6.2 文档撰写规范

1. 毕设论文结构 ：

   • 引言（明确问题定义）
   • 相关技术综述
   • 系统设计详述
   • 实验与结果分析
   • 结论与展望

2. 代码注释要求 ：

/**
 * 计算景点相似度
 * @param spot1 景点1特征向量
 * @param spot2 景点2特征向量
 * @return 相似度分值[0-1]
 */
public double calculateSimilarity(Vector spot1, Vector spot2) {
    // 实现代码
}

3. 答辩PPT设计 ：
   • 技术架构图使用分层绘制
   • 数据流程图采用动画分步展示
   • 关键代码只展示核心片段

在具体实现时，我发现Hadoop本地模式调试非常耗时。后来改用远程调试模式，在IDEA中配置如下运行参数后效率大幅提升：

-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005

对于推荐效果的评估，除了常规的准确率指标，建议增加多样性指标测量。可以计算推荐列表中景点类别的熵值：

H = -Σ(p(category_i) * log p(category_i))