有需要本项目的代码、文档、完整资源，或者需要部署调试的朋友，可以私信博主。

图 1 项目整体封面展示

一、项目从哪里来：把招聘信息变成求职参考

做这个系统的初衷很直接：大数据、算法、数据分析、数据库开发等岗位在招聘平台上更新很快，但求职者真正关心的信息往往散落在大量岗位详情里。只看单条招聘信息，很难判断某个城市的行情、某类技能的薪资区间，也不容易知道学历、经验、公司规模这些因素到底会带来多大差异。

所以我把项目定位成一个面向大数据相关岗位的薪资分析与预测平台。它不是简单把数据表导出来，也不是只做几张静态图，而是从招聘数据采集开始，经过清洗、标准化、统计分析、模型训练，再把结果接入 Flask Web 系统中，形成一个可以浏览、可以查询、可以预测、也方便后期维护的数据应用。

这次整理的材料包括开题报告、爬虫脚本、数据预处理 Notebook、薪资预测 Notebook、岗位数据文件、Flask 项目源码、前端模板、可视化页面、模型接口和管理端代码。围绕这些资料，我重新梳理了项目逻辑，把原本偏论文和代码说明的内容，改成更适合发布到技术平台的图文展示形式。

图 2 系统技术架构展示

二、项目整体思路：一条完整的数据应用链路

系统的核心流程可以概括为“采集—清洗—分析—建模—展示”。采集端使用 Selenium 模拟浏览器访问招聘页面，根据岗位关键词和城市配置批量获取岗位信息；数据处理端使用 Pandas 对不同关键词下的 CSV 文件进行合并，并对城市、学历、经验、企业属性、薪资区间等字段做统一处理；分析端围绕岗位数量、城市分布、学历门槛、经验要求、企业性质、行业类别、关键词热度等维度生成可视化结果；建模端使用 CatBoost 回归模型预测岗位月薪；系统端则通过 Flask 将大屏、预测页、后台管理和数据接口统一起来。

压缩包中的项目结构比较完整，既有前期实验代码，也有 Web 系统资源。前期 Notebook 主要负责数据合并、清洗和模型训练；项目目录中则包含 templates、views、assets、models 等模块。为了便于公开展示，我没有把源码结构逐级展开，而是保留了能够说明项目完整性的关键目录和功能关系。

图 3 项目资源结构梳理

图 4 数据处理流程展示

三、数据采集：围绕岗位关键词批量抓取招聘信息

数据来源围绕在线招聘平台中的大数据相关岗位展开。爬虫脚本里配置了多个城市和岗位关键词，例如数据分析师、数据工程师、数据库开发、机器学习、深度学习、自然语言处理、Python、MySQL、Hadoop、Spark、大模型应用开发等。每个关键词对应一批岗位结果，抓取后单独保存为 CSV 文件，后续再统一合并。

采集代码使用 Firefox 版本的 Selenium 驱动，支持关闭图片加载、设置页面加载策略、设置超时和随机等待。这样的写法主要是为了提升采集稳定性，减少页面资源加载带来的等待时间。抓取字段包括岗位名称、公司名称、工作城市、薪资、学历要求、工作经验、公司规模、企业性质、所属行业、任职要求、HR 信息和回复速度等。

公开展示时，涉及真实公司、HR、账号、数据库配置等内容都不适合直接暴露。因此，图中的代码只保留采集思路、字段组织方式和接口逻辑，具体数据库密码、本地浏览器路径、真实账号信息已经做了遮挡或替换。

图 5 核心代码片段展示（已脱敏）

四、数据清洗：把招聘文本整理成可分析的数据表

原始招聘数据最麻烦的地方在于格式不统一。薪资可能写成“8千-1.2万”“20万/年”“300元/天”，城市字段可能带有区域后缀，企业性质和所属行业也可能混在一起。项目在数据预处理阶段做了多步处理：先把多个关键词文件合并，再补充搜索关键词字段，随后统一城市名称、处理缺失值、清理重复记录，并把薪资上下限转换成可以计算的月薪数值。

清洗后的数据保留了 46,412 条岗位样本，覆盖 28 个搜索关键词和 26 个城市。从字段来看，既能支持传统的描述性统计，也能作为机器学习模型的输入。比如“计算月薪”可以作为预测目标，“岗位名称、学历、工作经验、企业性质、公司规模、所属行业、城市、搜索关键词”等字段可以作为模型特征。

下面的数据样例经过公开化处理，保留字段结构但不暴露真实公司与个人信息。这样的处理方式更适合做项目展示，既能体现数据维度，又不会把原始资料完整公开。

图 6 清洗后数据样例展示

五、多维可视化：从城市、学历、经验和关键词看岗位行情

可视化部分是这个项目最适合展示的内容。通过对清洗后数据进行分组聚合，可以很直观看到不同城市的大数据岗位集中度和薪资水平。样本中，北京、上海、成都、深圳、天津、重庆、广州等城市的岗位数量较多，其中一线城市平均薪资整体更高，新一线和区域中心城市则在岗位数量和薪资水平之间呈现不同特点。

学历维度也比较明显。本科是岗位要求中的主流学历，硕士和博士岗位的平均薪资更高，大专岗位平均薪资相对较低。工作经验方面，3-5 年和 1-3 年经验需求占比较大，5-10 年经验对应的薪资水平更高，10 年以上样本虽然数量不多，但平均薪资明显上移。这些结果对求职者判断职业阶段和能力积累价值很有参考意义。

图 7 主要城市岗位数量与平均月薪	图 8 不同学历要求平均月薪

图 9 工作经验要求分布	图 10 学历与经验组合薪资热力图

关键词分析能进一步看出岗位方向差异。导航算法、推荐算法、音视频算法、自然语言处理、搜索算法、深度学习、机器人算法等算法类岗位的平均薪资更高；数据分析师、数据工程师、MySQL、数据仓库、BI 工程师等偏数据开发与分析支撑类方向，平均薪资相对温和。这个结果并不是说某个方向一定“更好”，而是说明不同技术路线对应的市场定价和能力门槛不同。

企业性质和行业类别也会影响薪资。合资、事业单位、外商独资、国企、上市公司等类型在薪资分布上各有差异；行业方面，人工智能、电子、专业技术服务、互联网、IT 服务、计算机软件等领域的岗位都比较集中。通过这些维度叠加分析，系统可以帮助用户从多个角度理解岗位市场，而不是只看单一平均值。

图 11 不同搜索关键词平均月薪对比	图 12 不同企业性质平均月薪对比

图 13 热门行业招聘量与平均月薪关系	图 14 岗位技能词云展示

六、薪资预测：用 CatBoost 连接岗位特征与月薪估计

项目的预测模块使用 CatBoostRegressor 作为主要模型。选择 CatBoost 的原因在于岗位数据里有大量类别型字段，比如岗位名称、公司名称、城市、学历、经验、公司规模、企业性质、行业类别和搜索关键词。如果全部手动编码，工作量会比较大，也容易破坏部分字段的信息表达。CatBoost 对类别特征处理比较友好，适合这类招聘数据建模任务。

模型训练时，以计算月薪作为目标变量，其他岗位属性作为输入特征。训练完成后，将模型保存为 pkl 文件，并在 Flask 接口中加载。前端预测页面提交用户选择的岗位条件后，后端按模型字段顺序组装 DataFrame，再调用模型返回预测月薪。这个过程把 Notebook 中的实验模型转成了真正可以在系统页面中调用的功能。

预测结果适合做就业行情参考，而不是替代真实 offer。实际薪资还会受到候选人项目经历、学历背景、面试表现、企业预算、招聘紧急程度等因素影响。系统的价值在于提供一个数据化起点：用户可以先知道大致区间，再结合个人情况进行判断。

图 15 薪资预测建模流程

图 16 模型影响字段解释示意	图 17 岗位薪资预测页面展示

图 18 预测结果展示

七、Web 系统：大屏展示、在线预测和后台管理

系统前端采用 HTML、CSS、JavaScript 和 ECharts/Pyecharts 进行页面展示，后端使用 Flask 组织路由和接口。项目中使用蓝图拆分用户、管理员、数据管理、大屏展示等模块，这样代码逻辑会更清晰，后期扩展页面或接口也比较方便。

大屏页面主要用于整体展示，包括不同学历平均薪资、不同企业类型平均薪资、各城市薪资与岗位数量、工作经验需求分布、岗位名称词云、城市平均薪资地图、关键词薪资排名等内容。用户端可以浏览可视化结果，也可以进入预测页面输入条件；管理员端则提供用户信息管理、岗位数据管理、个人信息维护等功能。

从项目完成度看，它已经不是单独的数据分析脚本，而是形成了一个数据分析系统雏形：有数据源、有清洗逻辑、有模型、有接口、有前端页面、有管理入口。后续如果继续完善，可以增加权限控制、日志记录、模型版本管理、定时采集、自动更新图表等功能。

图 19 可视化大屏展示

图 20 后台数据管理页面展示

八、项目运行与部署说明

项目运行需要准备 Python 环境、MySQL 数据库以及 Flask Web 服务。Python 侧主要依赖 Pandas、NumPy、Pyecharts、CatBoost、Joblib、Flask、PyMySQL 或 mysql-connector 等库；数据库侧需要提前创建对应数据表并导入清洗后的岗位数据；前端资源包括 ECharts、Layui、CSS、地图数据和页面模板。

部署时需要特别注意路径和配置。比如模型文件、CSV 样本、数据库连接、静态资源路径都要根据本机目录调整。压缩包中的配置文件存在本地数据库账号和密码，正式展示或交付前应改成环境变量、配置模板或单独的私有配置文件，不能直接把真实连接信息公开到文章截图里。

图 21 运行部署与资源准备

九、可以继续扩展的方向

如果把这个项目继续做下去，我会优先补三类功能。第一类是数据更新能力，把爬虫从一次性脚本改成可配置的采集任务，支持按城市、岗位、时间范围增量更新；第二类是模型解释能力，除了给出预测月薪，还能告诉用户哪些因素拉高或拉低了薪资；第三类是用户体验优化，比如增加筛选条件联动、岗位对比、城市对比、技能建议和可下载报告。

另外，岗位描述中的技能文本还可以做更深入的挖掘。现在的系统已经能通过词云展示技能热度，后续可以进一步拆分为编程语言、数据库、数据平台、算法方向、可视化工具、业务能力等标签体系，再结合薪资预测模型，给出更清晰的学习路线建议。

总体来看，这个项目把 Python 数据分析、网络爬虫、机器学习、Web 开发和可视化展示串在了一起。对于毕业设计、课程设计、数据分析作品集或者就业数据方向项目展示来说，它的内容比较完整，也有一定扩展空间。

每文一语

把复杂问题拆成一条可执行的数据链路，很多看似很远的目标，都会一步步变得清晰。