登录社区云，与社区用户共同成长
邀请您加入社区
【Python大数据+AI毕设实战】肥胖风险因素数据分析系统、计算机毕业设计、包括数据爬取、Spark、数据分析、数据可视化、Hadoop、实战教学
一家大型医疗集团利用SPARK的iPaaS能力，整合了患者的挂号、诊疗、影像、用药、随访等全周期数据（大数据），并通过AI进行自然语言处理和医学知识图谱构建，自动生成结构化的“患者360度全病程视图”。它提供了一种全新的可能性——通过一个统一的、开放的、智能的数字底座，让产业链上的所有参与者能够高效协同，共同创新，最终塑造一个更智能、更高效、更具韧性的数字经济新格局。例如，一个典型的“订单到收款”
随着大数据与人工智能技术的迅速发展，基于用户画像的精准营销策略已成为提升企业市场竞争力的重要手段。本文以电商平台为研究对象，结合K-means聚类算法、深度学习模型和网络爬虫技术，构建了用户画像系统，并实现了个性化商品推荐与用户行为预测。通过采集用户的基本信息、浏览记录、收藏、点赞及评论等多维度数据，进行特征提取与标签化处理，形成结构化的用户画像。利用Spark框架进行数据清洗与分布式计算，提高系
在DataPhin基于PySpark实现主键重复就自动失败以提高运维的半自动化水平
数字化SaaS商城运营平台不仅可以帮助企业实现线上销售和订单管理，还可以提供个性化推荐、营销活动、客户服务等功能，为企业带来更多的商业机会和利润增长点。总的来说，构建数字化SaaS商城运营平台是一个复杂而又关键的任务，需要综合考虑技术、业务、用户等多个方面的因素。通过规划框架的设计，企业可以更好地把握数字化商城的发展方向和实施路径，提升竞争力，实现业务增长和盈利增长。2. 技术架构设计：其次，需要
我们的 Hadoop 大数据平台已经运行多年，使用的版本是 CDH 5.8，平台上的各个组件（HDFS、Yarn、Hive、Spark）也都是基于这个版本的，但随着对 Hadoop 平台的深入使用，部分组件版本过低，有些新功能无法使用，这迫使我们必须要升级到新的版本。CDH 5.8 版本的 Hadoop 是基于 Hadoop 2.x 的，此次升级计划从 Hadoop 2.x 版本升级到 3.x 版
Spark版本：1.6.2概览Spark SQL用于处理结构化数据，与Spark RDD API不同，它提供更多关于数据结构信息和计算任务运行信息的接口，Spark SQL内部使用这些额外的信息完成特殊优化。可以通过SQL、DataFrames API、Datasets API与Spark SQL进行交互，无论使用何种方式，SparkSQL使用统一的执行引擎记性处理。
1. Lost executor on YARN ALS iterationsdebasish83 Q:During the 4th ALS iteration, I am noticing that one of the executor getsdisconnected: 14/08/19 23:40:00 ERROR network.ConnectionManager: Correspon
【Python大数据+AI毕设实战】豆瓣电影用户行为与市场趋势分析系统、计算机毕业设计、包括数据爬取、Spark、数据分析、数据可视化、Hadoop、实战教学
题目:将数据的某个特征作为label, 其他特征(或其他某几个特征)作为Feature, 转为LabelPoint参考: http://www.it1352.com/220642.html首先构造数据import scala.util.Random.{setSeed, nextDouble}setSeed(1)case class Record(foo: Double, target: D
在编写客户端程序时，直接用hive的diver class连接hive，或者写spark程序出现异常：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/io/Charsetsat org.apache.hadoop.security.Credentials.<clinit>(Cre
最近在研究数据领域的趋势，这是来自麦肯锡的数据架构的报告。在过去的几年中，组织不得不迅速采取行动，在旧有基础架构的基础上部署新数据技术，以推动市场驱动型创新，例如个性化报价，实时预警和预测性维护。从数据湖到客户分析平台再到流处理的这些技术附加功能极大地增加了数据架构的复杂性，通常极大地妨碍了组织提供新功能，维护现有基础架构以及确保人工智能完整性的持续能力模型。当前的业务需求不能够容忍这样的阻碍存在
每次输入好麻烦，故可以： object CollaborativeFilteringSpark {val conf = new SparkConf().setMaster("local").setAppName(this.getClass().getSimpleName().filter(!_.equals('$')))//println(this.getClass().getSim
Spark sql 版本2.3.0，grouping sets之后jion相同表会出现列名不存在的问题。会导致报错org.apache.spark.sql.AnalysisException: cannot resolve '`a.a`' given input columns: [b.b, b.c, a.a, a.b, a.c]; line 8 pos 29;或者org.apache.spark
OverviewSQLDatasets and DataFramesGetting StartedStarting Point: SparkSessionCreating DataFramesUntyped Dataset Operations (aka DataFrame Operations)Running SQL Queries ProgrammaticallyGloba
&nbsp; &nbsp; &nbsp; 在平时的工作中，经常有按照不同维度筛选和统计数据的需求。拿视频会员订单数据来说吧，运营人员要查看深圳市的成功下单数或则深圳市某一种产品的成功下单数或者某一种产品的所有成功下单数时，每天的订单数又很大，现查的话按照不同的维度去查询又很慢。此时本篇文章或许会帮助到你。group by:主要用来对查询的结果进行分组
代码如下val df: DataFrame = spark.readStream.format("kafka").option("kafka.bootstrap.servers", "mypc01:9092,mypc02:9092,mypc03:9092").option("subscribe", "cat")// 从头消费.option("staringOffsets", "earliest")
1）RDD概念：Resilient Distributed Datasets 弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。同时，RDD还提供了一组丰富的操作来操作这些数据。RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（transformation操作）而创建。RDD可看作一个spark的对象，它本身存在于内
RDDRDD(Resilient Distributed Datasets,弹性分布式数据集)，是Spark最为核心的概念，自然也是理解Apache Spark 工作原理的最佳入口之一。RDD的特点：1. 是一个分区的只读记录的集合；2. 一个具有容错机制的特殊集；3. 只能通过在稳定的存储器或其他RDD上的确定性操作（转换）来创建；4. 可以分布在集群的节点上，以函数式操
本文链接：http://blog.csdn.net/u011239443/article/details/53894611该论文来自Berkeley实验室，英文标题为：Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译，我是基于博文http://sh..
从GitHub收集有关ApacheSpark的信息, 在Twitter上检查相关的tweets, 使用 Meetup从更广泛的开源社区得到更多Spark 相关感受。 本章中,我们将概览各种信息和数据源，理解他们的结构，从批处理到流处理介绍数据处理流水线，要点如下: +从批处理到流处理介绍......
总的来说，数据中台距离业务更近，数据复用能力更强，能为业务提供速度更快的服务，数据中台在数据仓库和数据平台的基础上，将数据生产为一个个数据API服务，以更高效的方式提供给业务。该层包含DWD、DWS、DIM层，由ODS层数据加工而成，主要是完成数据加工与整合，建立一致性的维度，构建可复用的面向分析和统计的明细事实表，以及汇总公共粒度的指标。通常情况下，为了把一个复杂的工作拆成了多个简单的工作，一般
Spark Streaming 是个批处理的流式（实时）计算框架。其基本原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join等高级函数进行复杂算法的处理。最后还可以将处理
GraphX编程指南GraphX 是新的图形和图像并行计算的Spark API。从整理上看，GraphX 通过引入 弹性分布式属性图(Resilient Distributed Property Graph)继承了Spark RDD：一个将有效信息放在顶点和边的有向多重图。为了支持图形计算，GraphX 公开了一组基本的运算（例如，subgraph，joinVertices和mapReduceTr
1、Spark Streaming简介1.1 概述Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算
1.现象场景：在spark执行程序中会看到很多的failed但是过程能正常执行完查看如下：ExecutorLostFailure (executor 11 exited caused by one of the running tasks) Reason: Executor heartbeat timed out after 941664 ms表面现象的问题是直接某个机器由于心跳超时，超过一定时间
文档说明本文是基于《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南 这篇文章翻译而来。原文中关于R语言的部分本文档全都省略。由于个人水平有限，有些地方难免翻译的不准确，烦请指正。概述 Spark SQL 是 Spark 用于处理结构化数据的一个模块。不同于基础的 Spark RDD API，Spark SQL 提供的接口提供了更多关于数据和
SparkUI其实是伴随作业运行时候会启动一个网页，我们访问网页就可以打开,链接其实在启动的时候日志里面会打印出来,比如说我的地址:一般端口是4040,地址是Driver所在的地址,实际在公司里面呢，也会在日志里面输出这个地址，因为历史的信息是存在history服务器上面的，地址其实是会变化，但是不管如何都会在你作业上面输出的，如果没有就找公司平台开发人员提需求要他们改成有即可不改好的话可以直接说
spark 生产线上碰到的问题1、第一张错误信息图片2、第二张错误信息图片3、第三张错误信息图片4、第四张sparkUI上显示的信息一、产生事故的背景: 上线一个疲劳驾驶事件处理的流式分析,由于中间业务处理的代码逻辑有变更,导致需要重新部署。每次都是将checkpoint中的元数据删掉，因为已经过了比较长的时间了，而且又用到updateStateByKey...
日常工作中经常用到sparkui来排查一些问题，有些东西需要经常搜索，网上的文章有写的很棒的，也有写的一言难尽的，这里参考了其他大佬的文章，自己整体梳理了一下，方便自己使用，也希望能帮助到大家～
SparkContext是所有spark程序的引擎，它的配置参数由SparkConf负责。SparkConf内部主要是通过ConcurrentHashMap来维护Spark配置属性。SparkContext的初始化步骤如下：1.创建Saprk执行环境SparkEnv；2.创建RDD清理器metadataCleaner；3.创建并初始化SparkUI；4.Hadoop相关配置及Ex
7月18日，OSCS监测到Apache发布安全公告，修复了一个ApacheSparkUI中存在的命令注入漏洞。高危。
spark
——spark
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
2048 AI社区
北京朝阳AI社区
EazyDevelop社区
HarmonyOS开发者社区
