logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

FastDFS集群搭建+keepalive+nginx高可用

这里以我搭建好的FastDFS集群高可用+负载均衡的虚拟机为例,下载地址:集群节点下载一、环境准备centOS-6.6,VMware8个节点,node22,node23,node25~node30;其中node22,node23作为keepalived+nginx高可用负载均衡,具体思路看框架原理图。node25,node26作为tracker,node27~node30...

文章图片
#nginx
Airbyte分享

Airbyte,一家专注于 ELT 管道的开源数据集成平台,Airbyte 最主要的产品还是 Extract 数据抽取和 Load 数据加载产品。简单来说,就是利用连接器 (Connector) 连通多平台间的数据,其逻辑是平台连接的数据源越多,平台越稳定,而平台就会拥有壁垒。其次,Airbyte 也提供 Transform (数据转换) 产品,实际上 Transform 数据转换产品 Airby

文章图片
golang编译Arm64版本出现 “undefined: syscall.Dup2”解决方式

由于系统架构需要,同一个项目需要编译成不同的版本,在amd64架构下编译通过,但是在arm64架构下,编译出现“undefined: syscall.Dup2”问题..\..\github\vkcom\engine-go@v0.0.0\srvfunc\common.go:169:2: undefined: syscall.Dup2在 Arm 架构中,没有提供 Dup2 的方法,因此出现以上编译问题

文章图片
#golang
大数据架构系列:如何理解湖仓一体?

无论是数据湖还是数据仓库最后还是面向于解决用户的问题,用户要的其实是数据里的信息,依赖于湖和仓的数据摄取、存储、计算能力主要是因为海量多元的数据,如果用户数据小业务简单完全可以用本地Excel导入数据进行各种有效分析。以下讨论数据湖、数据仓库、湖仓一体都是基于用户的数据是海量且复杂多元的。

文章图片
#大数据#架构#数据仓库
Spark连接ES实现kerberos认证

Mechanism level: Server not found in Kerberos database (7) - LOOKING_UP_SERVERspark连接ES,kerberos认证Missing required negotiation tokenMechanism level: Request is a replay (34)

文章图片
#spark#elasticsearch#大数据
Elasticsearch-7.8.0源码编译

1、环境准备操作系统:win10x64JDK版本:Java version "14.0.2"Gradle版本:Gradle 6.5ElasticSearch源码版本:7.8.0ElasticSearch客户端版本:7.8.0Idea版本:2019.3.32、资源下载地址JDK:https://www.oracle.com/java/technologies/javase/jdk14-archive

#elasticsearch#大数据#big data
到底了