logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Spark计算模型RDD

Spark计算模型RDD1. RDD概述1.1 什么是RDDRDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将数据缓存在内存中,后续的查询能够重用这些数据,这极大地提升了查

#spark#分布式
消息中间件JMS入门

JMS入门消息中间件消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间的通信。对于消息中间件,常见的角色大致也就有Producer(生产者)、Consumer(消费者)

#apache#activemq
大数据(二)大数据相关的技术

大数据(二)大数据相关的技术1.云技术大数据常和云计算联系到一起,因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说,云计算充当了工业革命时期的发动机的角色,而大数据则是电。

#大数据#云计算#分布式
云计算、大数据区别

云计算、大数据区别关于大数据和云计算的关系人们通常会有误解。而且也会把他们混起来说,分别做一句话解释就是:云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。虽然上面的一句话解释不是非常的贴切,但是可以帮助你简单的理解二者的区别。

#云计算#大数据
深入理解ElasticSearch(一)API

深入理解ElasticSearch(一)API1、Java APIElasticsearch为Java用户提供了两种内置客户端:1、节点客户端(node client):节点客户端以无数据节点(none data node)身份加入集群,换言之,它自己不存储任何数据,但是它知道数据在集群中的具体位置,并且能够直接转发请求到对应的节点上。2、传输客户端(Transport...

#elasticsearch
到底了