logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

ShardingSphere-Proxy 快速入门

ShardingSphere-Proxy 是一个透明的数据库网关,提供与原生数据库兼容的协议,支持多语言应用接入。部署流程包括:1)环境准备(Java 8+、MySQL/PostgreSQL);2)配置全局规则和数据分片策略;3)启动服务并连接。通过 YAML 文件定义分库分表规则,支持动态配置更新和分布式主键生成。生产建议采用高可用部署模式,集成配置中心,并监控性能指标。常见问题包括连接失败、路

#apache#学习
RabbitMQ rabbitmqctl 详解:命令行管理工具全面指南

RabbitMQ rabbitmqctl 命令行管理工具指南 rabbitmqctl 是 RabbitMQ 的核心命令行工具,用于管理和监控 RabbitMQ 节点。本文详解其功能和使用方法: 主要功能 节点状态检查(status/node_health_check) 连接/通道管理(list_connections/close_connection) 虚拟主机管理(add_vhost/delet

#rabbitmq#分布式
Mockito + AssertJ 深度集成指南

Mockito与AssertJ深度集成指南摘要:本文介绍了Mockito(模拟框架)与AssertJ(断言库)的协同使用方法,通过150字展示其核心优势:1)链式调用实现自然语言般的测试表达;2)自描述断言提升代码可读性;3)详细错误报告加速问题定位。典型应用场景包括:使用@Mock注解创建模拟对象,结合AssertJ的assertThat()进行流畅断言,以及通过verify()验证交互行为。高

#java#学习
SkyWalking 服务集成的核心方式 —— Java Agent 探针注入

本文介绍如何通过Java Agent探针将Java应用接入SkyWalking实现无侵入式监控。主要内容包括:下载SkyWalking发行版获取agent目录;启动时通过-javaagent参数挂载探针,并配置服务名、OAP地址等参数;验证UI中是否出现服务数据。文章还简要说明Agent工作原理(类加载拦截、字节码增强、数据采集上报)、常见问题排查方法,以及生产环境配置建议(采样率、路径管理等)。

#skywalking#java
Redis 实时计算(HyperLogLog)详解:海量数据去重计数的利器

Redis的HyperLogLog算法是一种革命性的基数估算解决方案,特别适合海量数据去重统计。它仅需约12KB内存即可估算高达2^64个元素,误差率低于0.81%,性能稳定在O(1)级别。相比传统Set方案可节省99.9%内存,支持合并计算,广泛应用于UV统计、搜索词去重、广告曝光等场景。本文详解了HLL的核心原理、Redis命令、典型应用及最佳实践,并通过与传统方案的对比,展示了其在实时计算中

#redis#数据库#缓存
MapReduce vs Tez vs Spark:分布式计算框架深度对比

MapReduce、Tez和Spark是三种主流分布式计算框架,各有特点。MapReduce采用严格的Map-Shuffle-Reduce模型,适合大规模批处理但延迟较高;Tez通过动态DAG优化执行流程,在Hive查询中表现优异;Spark基于内存计算和RDD模型,在迭代计算和实时处理方面性能突出。性能测试显示Spark执行速度最快(45分钟 vs Tez 75分钟 vs MapReduce 1

#mapreduce#spark#大数据
FFmpeg 集成 libxvid(XviD 视频编解码器)

本文详细介绍了在Linux系统中为FFmpeg集成libxvid(XviD视频编解码器)的完整流程。主要内容包括:1)libxvid源码编译安装;2)FFmpeg配置时启用XviD支持;3)编译安装与运行时环境设置;4)XviD编解码测试方法;5)常见问题解决方案。关键技术点涉及库路径配置(--extra-cflags/--extra-ldflags)、动态链接库管理和多线程优化。该集成方案适用于

#视频编解码
MinIO、HDFS 和 FastDFS 的详细对比分析 速览

MinIO:适合云原生应用、大数据分析、机器学习、备份与归档等场景,优势在于高性能、易扩展、兼容 S3 API。HDFS:适合大数据处理、机器学习、数据仓库、日志分析等场景,优势在于高吞吐量、高容错性、可扩展性。FastDFS:适合图片存储、视频存储、文档存储、日志存储等场景,优势在于轻量级、高性能、高可用。用户可根据实际需求(如存储类型、性能要求、扩展性、社区支持等)选择合适的分布式文件系统。

#hdfs
Apache Flink Java 示例:批处理数据分析(DataSet API)

本文介绍了使用Apache Flink DataSet API进行电商批处理数据分析的完整实现方案。通过电商订单和用户数据,展示了五种典型分析场景:月度销售额统计、商品类别销售排名、用户消费行为分析、地域销售分布和用户推荐系统。文章提供了详细的数据模型定义和批处理分析主类代码,包括数据加载、分组聚合等核心操作。虽然Flink已转向Table/SQL和DataStream API,但DataSet

#apache#flink#java
spark 性能优化核心环节: 内存管理机制

Spark采用统一内存管理机制(Unified Memory Management)来动态分配执行内存(用于计算)和存储内存(用于缓存)。该机制通过共享内存池(默认占堆内存60%)实现资源弹性分配,其中存储内存可借用执行内存的空闲部分(但可被强制收回),而执行内存可抢占存储内存且任务结束前不可收回。堆外内存(需手动开启)则用于优化二进制操作和减少GC开销。合理的内存配置对避免OOM至关重要,尤其需

#spark#性能优化#大数据
    共 190 条
  • 1
  • 2
  • 3
  • 19
  • 请选择