logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Zookeeper与Kafka学习笔记

采用层次化数据模型(Znode树结构),每个节点可存储<1MB数据。Topic逻辑分类,Partition物理分片(提升并发能力)环境要求:JDK8+、Zookeeper集群(建议3/5节点)数据变更通过版本号(Version)控制,实现乐观锁机制。ISR(In-Sync Replicas)机制保障高可用。分布式协调服务,用于维护配置/命名/同步等元数据。:解耦/削峰/异步通信,支持顺序性与回溯消

#zookeeper#kafka#学习
流式计算在工业物联网中的使用场景

这次给大家分享的是一款开源的时序库TDengine,它自带的流计算引擎提供了实时处理写入的数据流的能力,使用 SQL 定义实时流变换,当数据被写入流的源表后,数据会被以定义的方式自动处理,并根据定义的触发模式向目的表推送结果。在工业物联网应用场景中,在处理时序数据且不需要做过多的复杂处理时通过TDengine的流计算功能是一个轻量级且高效的解决方案,可以在开发过程中占用更少资源以更合适的方式处理流

文章图片
#物联网#后端
基于CentOS7系统初步搭建hadoop

Hadoop 是一个开源的分布式计算框架,广泛应用于大数据的存储与处理。在这篇文章中,小编将介绍如何在本地机器上搭建一个 Hadoop 环境,帮助你快速了解 Hadoop 的基本使用。在本教程中,我们将重点讲解如何安装和配置 Hadoop,并简单介绍如何使用它进行数据存储和处理。Hadoop 节点之间需要通过 SSH 进行通信,即使是单节点集群,也需要配置 SSH。一个用于处理大规模数据的计算模型

文章图片
#hadoop#大数据#分布式
水文SL651协议解析

SL 651是国家水文局制定的用于水文监测数据通信的协议,它规定了水文监测数据采集与传输的格式、内容、传输方式等技术参数,支持通过TCP(安全性低,不推荐)和TLS两种方式接入设备。本文重点介绍通过TCP方式接入使用HEX格式传输报文方式的协议解析。由示例可看出每条报文头部固定为起始符、中心站、遥测站、密码;尾部固定为结束符、crc校验。每条报文包含的数据由功能码决定。我们在解析时根据功能码进行对

#后端
到底了