logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【大数据分析】Hbase的基本原理

(1).META.表,记录了用户所有表拆分出来的 Region 的映射信息,.META.可以有多个Region。(2)-ROOT- 表,记录了 .META. 表的 Region 信息,-ROOT- 自身只有一个 Region,无论如何不会分裂。Client 访问用户数据前需要首先访问ZK,找到 -ROOT- 表的 Region 所在的位置,然后访问 -ROOT- 表,接着访问 .META. 表,最

文章图片
#hbase#大数据#hadoop
【机器学习】似然函数

目录似然和概率似然和概率似然和概率都可以理解为“可能性”,但是它们针对的对象不一样,似然函数是关于Θ的函数,概率密度函数是关于x的函数。比如似然函数定义为:L(Θ|x),而概率密度函数定义为f(x|Θ)。假设X的概率密度函数可以定义为:其中X是离散的随机向量X(x1,x2,…),表示参数Θ下随机向量X取到x的可能性。假设:那么我们可以认为“参数Θ1下随机变量X取值x的可能性”大于“参数Θ2下随机向

#机器学习#人工智能#算法
实时大数据计算中,Spark的滑动窗口和允许消息迟到机制

本文总结了实时大数据分析项目中关于Spark流处理核心参数的配置与运作机制。项目采用Java17+、Scala2.13和Spark4.0.0,基于Kafka创建读取流。重点解析了四个关键参数:windowDuration控制聚合粒度(10秒),slideDuration决定聚合频率(5秒),watermark(20秒)管理迟到数据,trigger(1秒)调节处理节奏。通过时间轴示例展示了窗口重叠生

#大数据
实时大数据计算中,Flink的滑动窗口,乱序,允许消息迟到机制

摘要:本文分析了Flink实时计算中对乱序和迟到数据的处理机制。Flink通过定义乱序界(allowedLateness)和迟到界(allowedLateness)来管理窗口外的数据。当事件时间超过乱序界(窗口右端+允许时间)时触发窗口计算,后续在迟到界内到达的数据会触发更新操作。相比Spark Streaming的即时计算方式,Flink的事件时间驱动机制能更好处理乱序数据。文章还展示了触发窗口

#大数据#flink
【强化学习】Trust Region Policy Optization(TRPO)

目录Policy Gradient的问题Policy Gradient的问题由于数据的采样

#算法#机器学习
【强化学习】多臂老虎机

目录简介k臂赌博机问题动作-价值方法10臂测试平台简介强化学习与机器学习最大的不同,在于前者的训练信号是用来评估给定动作的好坏的,而不是通过给出正确动作范例来进行直接的指导。“评估性反馈”,表明当前采取的动作的好坏程度,但无法确定最好和最坏。“指导性反馈”表示应该选择的正确动作是什么,这是监督学习的基本方式,被广泛用于模式分类、人工神经网络等。k臂赌博机问题假设你要重复地在k个选项中进行选择。每次

#机器学习#算法#人工智能
【机器学习】语音深度神经网络模型

目录DNN-HMMDNN-HMM语音识别CD-DNN-HMMCD-DNN-HMM组成CD-DNN-HMM 性能提升DNN训练加速DNN解码加速DNN由于GMMDNN-HMM深度神经网络-隐马尔科夫模型(DNN-HMM)利用DNN的特征学习能力和HMM的序列化建模能力进行语音识别任务的处理,在很多大规模任务中,其性能远优于传统的GMM-HMM混合模型。DNN:特征的学习能力,估计观察特征的概率,预测

#机器学习#dnn#语音识别
【机器学习】图像预处理

目录图像处理的形式图像预处理灰度变换反转对比度增强对比度压缩伽马矫正直方图彩色直方图直方图均衡化直方图规定化空间滤波模板运算均值滤波高斯滤波中值滤波图像锐化边缘检测图像锐化实现坐标转换平移镜像旋转缩放最邻近插值双线性插值仿射变换透视变换彩色图像处理图像预处理技术在深度学习中的应用图像处理的形式(1)单幅图像输入->单幅图像输出(2)多幅图像输入->单幅图像输出(3)单幅图像输入-&gt

#机器学习#计算机视觉#图像处理
【大数据分析】k-cores,一种基于图数据结构的分解方法

为了能够更好的处理大型图数据结构,有时需要将其按照要求进行分解,而k-cores便是其中一种方法。它可以从一个相对较大的图网络得到一个子图,这个子图中的所有节点的度都大于等于k。如下所示:假设以上是一个由节点集VVV,和边集EEE组成的图G=(V,E)G=(V,E)G=(V,E),外部不同颜色深度的“圈”所包含的子图,代表着计算不同k值时对应得到的子图Gsubgraph,kGsubgraph,k​

#数据分析#数据结构#scala
【大数据分析】GraphX:图

目录图基础图的数据类型图的属性图的分区图存储,分布式文件系统与图数据库图的专业术语解释有向图和无向图有环图和无环图有标签的图和无标签的图平行边和环二分图RDF图和属性图邻接矩阵图查询系统SPARQLCypherTinkerpop GremlinGraphX图基础现在图最常用于挖掘社交媒体数据,特别是识别出社交小圈子、推荐新的(社交)连接关系,或推荐产品和广告。这样的社交数据量很大,单机存储能力不够

#大数据
    共 34 条
  • 1
  • 2
  • 3
  • 4
  • 请选择