随着现代社会快节秦的生活和饮食习惯的改变，人们对食品营养分析越来越关注。大数据时代的来临，也让食品营养分析与评估更加精准和全面。本文将探讨基于大数据的食品营养分析评估的现状和发展。针对这一日益突出的就业问题，本文提出基于大数据技术开发用于对当前食物营养信息进行分析与展示的系统。该系统底层架构采用Spark分布式计算引擎处理海量食品营养信息，向下兼容Hadoop集群，并且做到GUI界面交互操作与可视化智能分析。

本论文中，首先简要阐明论文研究背景与研究意义，对相关理论技术进行了必要介绍；其次，分别从对系统可行性、功能性需求及非功能性需求三个方面进行研究剖析。从中确立了系统目标，设计了系统总体架构，对数据集合结构及数据展示大屏进行了设计；再次，从设计流程、思路详解及代码实现对系统主要功能模块，包括数据爬取、存储、清洗、分析以及可视化进行了详细说明；最后，交代了系统关键工具的部署方法，对系统功能模块进行了详细测试，并评估了测试结果，说明了修改进度。

中间层采用Spark分布式计算引擎层，有本地独立运行模式（standalone）和Spark on Yarn模式。本系统采用Spark on Yarn的yarn-cluster模式作为Spark的部署运行，此模式中Spark driver在Yarn集群中作为一个Application Master率先启动，再向Resource Manager申请资源启动executor运行Task。本系统在实际工作当中采用ZooKeeper管理集群，这样将资源利用率、系统性能表现和稳定性提升至最大化[13]。

上层应用层基于GUI框架，使用PyQt5编写图形用户界面，用户根据需求执行模块功能。系统主要通过使用Python的第三方库，包括PySpark、PyMongo实现对数据库和Spark计算框架的连接[14]。Spark运行输出Js文件，Echarts引用Js文件实现数据的可视化。

为了简化系统流程方案，食物营养可视化分析系统采用分层结构。为了方便读者对系统数据流向的理解，把握系统工作流程。如图4-2所示，描述系统的数据流向。

管理员在后台数据管理模块可以对系统中食物营养的信息进行更新，删除和新增的操作。如图5.7所示