登录社区云，与社区用户共同成长
邀请您加入社区
本文基于Python实现B站在线学习用户行为分析与可视化系统，通过数据采集、分析与可视化三大模块，揭示用户行为特征与学习趋势。研究采用requests爬取B站课程数据和用户评论，经pandas清洗后，运用机器学习（随机森林）和NLP技术进行多维分析：用户行为分析评估活跃度，内容分析生成词云图，情感分析计算评论倾向。可视化部分通过Matplotlib等工具展示播放/收藏数据、评论趋势及情感分布。成果
SparkSQL练习--出租车数据清洗数据分析数据读取准备工作读取文件数据清洗数据类型转换解决报错问题剪除异常数据完整代码显示数据分析数据集结构其中有几点需要注意hack_license 是出租车执照, 可以唯一标识一辆出租车pickup_datetime 和 dropoff_datetime 分别是上车时间和下车时间, 通过这个时间, 可以获知行车时间pickup_longitude 和 dro
本节主要介绍如何使用DataFrame进行编程。在旧版本中，Spark SQL提供两种SQL查询起始点：一个叫作SQLContext，用于Spark自己提供的SQL查询；一个叫作HiveContext，用于连接Hive的查询。SparkSession是Spark最新的SQL查询起始点，实质上是SQLContext和HiveContext的组合。因此，在SQLContext和HiveContext上
随着人们对空气质量的关注度日益提高，准确、及时地获取和分析空气污染物数据变得尤为重要。本“基于 Python+Spark 的空气污染物数据分析系统”旨在通过整合多种先进技术，实现对全国城市空气质量数据的高效采集、分析、展示以及管理，为用户提供全面、直观的空气质量信息，同时为相关决策提供数据支持。
基于Hive和Spark的淘宝双11数据分析与预测1.系统和环境要求（版本仅供参考）：Linux: centos7MySQL: 5.7.16Hadoop: 2.7.1Hive: 1.2.1Sqoop: 1.4.6Spark: 2.1.0Eclipse: 3.8ECharts: 3.4.02.数据上传到Hive（Hive的安装配置）2.1数据集格式内容数据集压缩包为dat...
数据仓库与数据挖掘（期末复习）
本文介绍了一个基于Hadoop+Spark的北京二手房市场多维度数据分析挖掘系统。该系统整合亿级房源数据，运用分布式计算框架实现高效处理，通过机器学习算法深度解析房价影响因素，为购房者、业主和政府部门提供决策支持。系统包含宏观市场分析、户型面积分析、建筑特征分析和房产价值分析四大模块，采用Python构建SparkSQL分析管道，结合Vue.js和ECharts实现交互式可视化。项目不仅提升了房产
本文介绍了一个基于协同过滤算法的个性化音乐推荐系统项目。项目采用Python技术栈，使用Django框架构建，整合用户行为数据和音乐特征数据，实现精准推荐。系统功能包括用户认证、行为数据采集、推荐引擎、偏好分析和可视化展示（ECharts）。创新点在于多源数据融合、混合推荐算法、实时推荐和交互式可视化设计。开发技术涉及Spark数据处理、MySQL存储和物品协同过滤算法。项目还包含完整的用户界面和
【摘要】基于大数据的汽车之家数据分析系统采用Hadoop+Spark技术架构，结合Python、Django和Vue等技术栈，构建了涵盖汽车市场多维度分析的智能平台。系统包含9大功能模块，通过Spark SQL、Pandas等工具处理海量数据，实现市场趋势、新能源车分析、区域销售等深度洞察。采用HDFS存储、Spark分布式计算和MySQL数据库，支持从数据采集到可视化展示的全流程分析，为汽车行业
基于市场对音乐数据的需求分析，设计了基于Spark的音乐数据分析平台，该平台技术上，首先利用scrapy库进行音乐数据的爬取，在数据存储方面使用了HDFS技术进行存储，在数据分析模块中，是利用Spark中自带的groupBy和count等聚合函数对音乐数据进行统计分析，分析出歌曲榜单热度，专辑热度等等信息存储到MySQL上面，最后利用Echarts和词云技术进行可视化，该平台采用django后端技
计算机毕业设计python+hadoop+spark猫眼电影票房预测 电影推荐系统 猫眼电影爬虫 电影数据可视化 电影用户画像系统 协同过滤算法 数据仓库
spark
——spark
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
DAMO开发者矩阵
