logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

clickhouse--本地表和分布式表,副本机制,分片集群

副本虽然能够提高数据的可用性,降低丢失风险,但是每台服务器实际上必须容纳全量数据,对数据的横向扩容没有解决。要解决数据水平切分的问题,需要引入分片的概念。通过分片把一份完整的数据进行切分,不同的分片分布到不同的节点上,再通过 Distributed 表引擎把数据拼接起来一同使用。Distributed 表引擎本身不存储数据,有点类似于 MyCat 之于 MySql,成为一种中间件,通过分布式逻辑表

文章图片
#clickhouse#分布式
spark通信框架rpc原理篇

(Remote Procedure Call)是的缩写,是一种通信协议,。RPC在分布式系统中非常常用,因为它可以让程序员像调用本地函数一样来调用远程服务。在Apache Spark中,RPC是用于在节点之间进行通信的机制Spark使用Netty作为RPC框架,它可以让节点之间的通信更快、更可靠。在Spark中,RPC主要用于在Executor和Driver之间传输数据和调用方法。例如,当Exec

文章图片
#spark#rpc#大数据
spark运行架构

Spark集群Cluster Manager目前支持如下三种模式:Standalone模式、YARN模式和Mesos模式。这里重要介绍前两种。

文章图片
#spark#架构#大数据
关系型数据库和非关系型数据库

支持水平扩展,可以通过增加更多服务器来处理更大的负载,处理海量数据;适合高并发读写、大数据分析、实时处理、社交媒体应用、物联网等场景。适合存储结构化数据,特别是那些需要严格数据模式和复杂查询的场景。提供丰富的功能,包括强大的安全性、事务处理和数据存储。开源的关系型数据库管理系统,广泛用于Web应用程序。轻量级的嵌入式关系型数据库,适合小型应用和移动设备。由于其小巧和易于集成的特性,常用于移动和桌面

文章图片
#程序人生
到底了