logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于RateLimiter的分布式限流

RateLimiter通过线程锁控制同步,只适用于单机应用,在分布式环境下,虽然有像阿里Sentinel的限流开源框架,但对于一些小型应用来说未免过重,但限流的需求在小型项目中也是存在的,比如获取手机验证码的控制,对资源消耗较大操作的访问频率控制等。本文介绍最近写的一个基于RateLimiter,适用于分布式环境下的限流实现,并使用spring-boot-starter的形式发布,比较轻量级且“开

大数据之Hue中运行Sqoop常见的问题分析

1、登入Oozie服务所在的服务器,进入 /opt/cloudera/parcels/CDH/lib/oozie/oozie-sharelib-yarn/lib/sqoop 目录,将所需的jdbc驱动包放入。可以发现在Hue执行的Sqoop操作是Oozie启动器执行的,不止Sqoop,Spark也是通过Oozie启动器执行的,推测其他应用也是。1、在终端执行Sqoop命令,只需要在 $SQOOP_

文章图片
#大数据#sqoop#hadoop
大数据之HDFS磁盘扩容(linux磁盘扩容)

本文以扩容/dev/vdb1 分区为例,命令中/dev/vdb 与1之间需要使用空格分隔。/dev/vdb1 分区容量为32G,文件系统类型为ext4,已挂载至/www。返回结果如下,则表示已扩容成功(/dev/vdb1分区由32G扩容至53G)/dev/vda 数据盘磁盘容量为21.5GB,包含/dev/vda1分区。/dev/vdb 数据盘磁盘容量为53.7GB,包含/dev/vdb1分区。/

文章图片
#大数据#hdfs#linux
大数据之写入Doris数据问题

将错误Key columns should be a ordered prefix of the schema. KeyColumns[1] (starts from zero) is aa, but corresponding column is bb in the previous columns declaration.因为我们建表的时候,也是依据Oracle源表的字段长度进行建表的,如果在

文章图片
#数据库#前端#服务器
大数据之写入Doris数据问题

将错误Key columns should be a ordered prefix of the schema. KeyColumns[1] (starts from zero) is aa, but corresponding column is bb in the previous columns declaration.因为我们建表的时候,也是依据Oracle源表的字段长度进行建表的,如果在

文章图片
#数据库#前端#服务器
大数据之CDH对Hdfs做Balance数据均衡/数据平衡/数据倾斜

不良 : 运行良好的 NodeManager:5。存在隐患的 NodeManager:0。NodeManager 总数:10。运行良好:50.00%。运行良好或存在隐患:50.00%。临界阈值:90.00%。以下 DataNode 数据目录 位于小于其可用空间 10.0 吉字节 的文件系统中。/data1/dfs/dn(可用:7.2 吉字节 (3.66%),容量:196.7 吉字。并且发现了yar

文章图片
#大数据#hdfs#hadoop
获取某个接口的所有实现类并且初始化

日前项目中遇到一个问题:有一个接口,这个接口定义了一种规范和标志,接口中只有一个初始化方法,接口的实现类可能会有非常多,需要在容器启动过程中我们去手动初始化这个接口的所有实现类,虽然在spring中我们可以直接配置,但是维护与使用时却不够优雅。1. 以一个Config接口为例:Java代码publicinterfaceConfig{...

前后端分离-统一返回给前端的json数据格式(RestApi)

package com.zhoujianpeng.project.response;public class RestResponse<T> {private int code;private String msg;private T data;/*** 分别提供返回成功和失败的不同的方法* 也就是说返回的数据...

java8-接口中的默认方法和静态方法

JAVA8已经发布很久,而且毫无疑问,java8是自java5(2004年发布)之后的最重要的版本。其中包括语言、编译器、库、工具和JVM等诸多方面的新特性。Java8 新特性列表如下:接口默认方法函数式接口Lambda 表达式方法引用StreamOptional 类Date APIBase64重复注解与类型注解一、接口默认方法1、什么是接口默认方...

RocketMQ解决数据一致性的问题

整个系统架构的演变过程:串行---->并行------>MQ解耦执行

到底了