logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于 ELK Stack 和 Spark Streaming 的日志处理平台设计与实现

概述大数据时代,随着数据量不断增长,存储与计算集群的规模也逐渐扩大,几百上千台的云计算环境已不鲜见。现在的集群所需要解决的问题不仅仅是高性能、高可靠性、高可扩展性,还需要面对易维护性以及数据平台内部的数据共享性等诸多挑战。优秀的系统运维平台既能实现数据平台各组件的集中式管理、方便系统运维人员日常监测、提升运维效率,又能反馈系统运行状态给系统开发人员。例如采集数据仓库的日志可以按照时间序列查

API Gateway技术设计

一,API Gateway架构设计服务网关是微服务架构中一个不可或缺的部分。通过服务网关统一向外系统提供REST API的过程中,除了具备服务路由、均衡负载功能之外,它还具备了权限控制等功能。Spring Cloud Netflix中的Zuul就担任了这样的一个角色,为微服务架构提供了前门保护的作用,同时将权限控制这些较重的非业务逻辑内容迁移到服务路由层面,使得服务集群主体能够具备更高的可

#架构#微服务
微服务与API 网关(下): Kong能为我们做什么?

本系列内容是来自Mashape.com的Marco在nginx.conf上的一次演讲。上一集我们介绍了为什么我们需要API网关:微服务与API网关(上): 为什么需要API网关?本系列第一部分(上集)主要介绍了单体和微服务之间的差别,以及为什么我们需要一个API网关等等。本系列的第二部分(也就是本集)主要关注Mashape.com的

Zuul动态路由及动态Filter实现

一, Zuul动态路由实现动态路由需要达到可持久化配置,动态刷新的效果。不仅要能满足从spring的配置文件properties加载路由信息,还需要从Redis加载我们的配置。另外一点是,路由信息在容器启动时就已经加载进入了内存,我们希望配置完成后,实施发布,动态刷新内存中的路由信息,达到不停机维护路由信息的效果。为了避免Eureka的侵入性设计,这里没有使用spring-clou

#微服务
Springboot+vue+element+v_charts趟坑

v_charts 基于百度echarts的vue封装 相关文档:https://elemefe.github.io/v-charts/#/element 饿了吗开源的组件库http://element-cn.eleme.io/#/zh-CN1.坑:v_charts 在引入后,启动时会报Uncaught ReferenceError: __DEV__ is not d

#架构
Kafka使用场景

1.为何使用消息系统解耦 在项目启动之初来预测将来项目会碰到什么需求,是极其困难的。消息系统在处理过程中间插入了一个隐含的、基于数据的接口层,两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。冗余有些情况下,处理数据的过程会失败。除非数据被持久化,否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规

到底了