logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Kibana 自定义插件开发详解(Kibana Plugin Development Guide)

Kibana自定义插件开发指南 Kibana支持通过插件机制扩展功能,包括添加页面、可视化组件、API接口等。本文详细介绍了插件开发流程: 插件类型:分为UI插件(前端)、Server插件(后端)或两者结合 开发准备:需匹配Kibana版本的Node.js环境,建议获取对应版本源码 创建插件:核心文件包括kibana.json元数据配置和前后端代码目录 开发示例:演示了包含前端React页面和后端

#学习
RocketMQ MQTT:面向物联网与移动终端的新一代消息协议架构

RocketMQ MQTT:云边端一体化消息平台 Apache RocketMQ 5.0+原生支持MQTT协议,实现物联网终端与云端消息系统的无缝连接。该架构将MQTT协议栈直接集成到RocketMQ Broker中,支持MQTT 3.1.1/5.0完整特性(QoS 0/1/2、遗嘱消息、保留消息等),同时保留RocketMQ的高吞吐(百万级TPS)和持久化存储优势。 核心特点: 协议转换:MQT

#rocketmq#物联网#架构 +1
MongoDB 物联网时序数据详解:高效存储与分析海量设备数据

MongoDB 物联网时序数据处理指南 本文系统介绍了如何利用MongoDB高效管理物联网时序数据。主要内容包括: 数据特点:物联网数据具有高频写入、时间驱动、海量等特点 MongoDB优势:原生时序集合(v5.0+)、高写入吞吐、灵活文档模型和水平扩展能力 数据建模:展示了传统文档模型和时序集合模型,后者在存储压缩和查询性能上有显著优势 性能优化:提供批量插入、无确认写入和分片等写入优化方案 查

#mongodb#物联网#struts
MinIO、HDFS 和 FastDFS 的详细对比分析 速览

MinIO:适合云原生应用、大数据分析、机器学习、备份与归档等场景,优势在于高性能、易扩展、兼容 S3 API。HDFS:适合大数据处理、机器学习、数据仓库、日志分析等场景,优势在于高吞吐量、高容错性、可扩展性。FastDFS:适合图片存储、视频存储、文档存储、日志存储等场景,优势在于轻量级、高性能、高可用。用户可根据实际需求(如存储类型、性能要求、扩展性、社区支持等)选择合适的分布式文件系统。

#hdfs
Apache Flink Java 示例:批处理数据分析(DataSet API)

本文介绍了使用Apache Flink DataSet API进行电商批处理数据分析的完整实现方案。通过电商订单和用户数据,展示了五种典型分析场景:月度销售额统计、商品类别销售排名、用户消费行为分析、地域销售分布和用户推荐系统。文章提供了详细的数据模型定义和批处理分析主类代码,包括数据加载、分组聚合等核心操作。虽然Flink已转向Table/SQL和DataStream API,但DataSet

#apache#flink#java
spark 性能优化核心环节: 内存管理机制

Spark采用统一内存管理机制(Unified Memory Management)来动态分配执行内存(用于计算)和存储内存(用于缓存)。该机制通过共享内存池(默认占堆内存60%)实现资源弹性分配,其中存储内存可借用执行内存的空闲部分(但可被强制收回),而执行内存可抢占存储内存且任务结束前不可收回。堆外内存(需手动开启)则用于优化二进制操作和减少GC开销。合理的内存配置对避免OOM至关重要,尤其需

#spark#性能优化#大数据
Apache Flink Java 示例:批处理数据分析(DataStream API)

本文展示了如何使用Apache Flink的DataStream API进行批处理电商数据分析。虽然DataStream API主要用于流处理,但在批处理模式下同样高效,适用于统一处理历史和实时数据的场景。文章实现了一个完整的电商订单分析系统,包含5个核心分析任务:每日销售趋势分析、热门商品类别排名、用户消费行为分析、地域销售分布以及异常订单检测。代码示例展示了如何配置批处理环境、定义数据模型、实

#apache#flink#java
Apache Spark Java 示例:DataFrame 数据分析

本文介绍了如何使用Apache Spark的DataFrame API进行电商数据分析。通过构建模拟数据集(用户、订单、产品信息),演示了从创建SparkSession、定义数据结构到执行分析的完整流程。示例代码展示了如何注册临时视图并执行多种分析任务,包括用户行为分析、销售趋势跟踪、产品表现评估和区域销售分析。文中还提供了优化配置建议,如设置适当的分区数,并强调了生产环境应使用集群模式。该实现为

#apache#spark#java
Apache ShardingSphere 的核心能力:数据加密

Apache ShardingSphere的数据加密功能通过SQL改写引擎和可插拔加密器实现敏感数据的存储加密与透明查询解密,满足GDPR等合规要求。其核心架构包含逻辑列、密文列和辅助查询列三元组设计,支持AES、SM4等国密算法。最佳实践包括密钥轮换的双列过渡方案、模糊查询的哈希辅助列优化,以及集成KMS的密钥安全管理。该方案在保证业务无感知的前提下提供企业级数据安全防护,性能损耗控制在15-2

#apache#学习
Docker架构介绍、网络架构与机制、与Kubernetes网络的区别

一、Docker架构图示| Docker客户端 | <---> | Docker守护进程 | <---> | Docker Registry || (Docker CLI) | | (Docker Daemon) | | (镜像仓库) || | |v v v| 用户指令 | | 镜像管理 | | 镜像存储 || (docker run等) | | (构建、运行容器) | | (Docker Hub

#docker#架构#网络
    共 191 条
  • 1
  • 2
  • 3
  • 20
  • 请选择