logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

容器云系列之Docker容器监控工具WeaveScope

容器监控工具很多,本文主要对比了cAdvisor、Weave Scope和Prometheus几种监控工具的特性和功能,并结合环境部署测试了各工具的使用。

#docker#容器#运维
大数据系列之日志数据实时分析计算

日志数据实时分析计算基于Spark Streaming和Kafka实现,本文主要介绍其中采集模块、数据清洗模块、指标计算模块、数据存储模块。

#大数据#spark
大数据系列之Spark和MongoDB集成

在Spark生态系统中,HDFS作为存储可以使用MongoDB来替代,构建成Spark+MongoDB生态系统。MongoDB作为文档存储型数据库,支持HDFS没有的索引概念,响应时间为毫秒级别,同时可以利用强大的aggregate函数做数据的筛选和预处理。

#大数据#spark#mongodb
低代码开发平台介绍

低代码开发平台近两年发展迅猛,并迅速渗透到各个细分领域。本文简要介绍低代码开发的概念以及特性,并结合低代码开发的应用场景介绍两个低代码开发平台。

文章图片
#低代码#分布式
数据库系列之TiDB备份恢复

BR工具用于TiDB集群的备份恢复,适合大数据量的备份恢复场景。本文简单介绍BR备份恢复原理和流程以及BR命令行的使用,并结合实际备份恢复场景加以测试验证。

#数据库#tidb
大数据系列之ELK集群环境部署

本文主要介绍ELK相关组件的环境部署和配置,并以系统syslog作为源数据输入测试验证elasticsearch端数据接收和Kibana端数据展示。

#大数据#elk
大数据系列之Spark集群环境部署

Spark作为一种大数据分布式计算框架,已经构建Spark Streaming、Spark SQL、Spark ML等组件,与文件系统HDFS、资源调度YARN一起,构建了Spark生态体系。

#大数据#spark
大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化

Spark大数据分析中涉及到RDD、Data Frame和SparkSQL的操作,本文简要介绍三种方式在数据统计中的算子使用。

#大数据#spark#python
容器云系列之基于Docker的Ansible自动化运维实现

本文简要介绍自动化运维工具Ansible基本概念及模块使用,并结合环境部署Ansible和可视化管理平台Ansible Tower

#docker#容器#ansible
大数据系列之PySpark读写外部数据库MySQL

本文主要介绍Spark通过PyMySQL和API算子对外部数据库MySQL和HBASE的读写操作

#大数据#spark#python
    共 27 条
  • 1
  • 2
  • 3
  • 请选择