logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Mac固定虚拟机IP

mac上实现虚拟机之间,虚拟机与主机互联如标题所示,我们需要在mac上实现虚拟机之间的互联。以方便我们后续分布式项目开发。而在集群项目中我们经常需要设定节点IP,如果不固定IP的话会带来诸多的不便。所以我们最好的方式就是设置虚拟机静态IP地址。而网络上更多的是windows的设置教程,关于mac的却很少。今天找到一篇介绍关于vmvare-fusion静态ip设置的问题,才得以解决http

#虚拟机#网络
Springcloud结合zookeeper配置中心

Springcloud结合zk实现动态配置SpringCloud结合git配置不足:需要一个应用作为服务端,并且没有自动监听配置的更改功能。于是我们就借助zk来帮我们完成这个通知。安装zk首先我们需要一个zk集群。下载地址 我们的项目需要配置ssh能够直接访问集群,测试就直接在本地进行。安装zkui因为配置文件统一在zk上管理。所以安装个zkui方便修改(安装方式如下)。登录端...

clickhouse(九、metabase链接及时区配置)

文章目录安装metabase配置clickhouse驱动metabase时区配置安装metabase# 选用docker方式,下载镜像docker pull metabase/metabase# 创建插件目录mkdir -p /data/docker/metabase/plugins# 启动容器,将目录挂载到容器/tmp 目录下docker run -d -v /data/docker/metab

#clickhouse
ClusterId read in ZooKeeper is null

HBase 链接问题总结写之前spark链接hbase的坑。异常Will not attempt to authenticate using SASL (unknown error)ClusterId read in ZooKeeper is nullHBase 配置代码val hBaseConf = HBaseConfiguration.create()hBase...

#hbase#zookeeper
logback系统异常日志写入文件

控制台异常堆栈日志写文件  先上问题。使用logback 的朋友会发现一个问题。自己分好日志类型,日志也会按级别输出相应的文件。前提是我们自己调用了info(),error()等日志输出方法。但是这样就存在一个问题就是非jdk检测异常,也就是RunTime异常是无法try..catch 后输出logger.error(e.getMessage())的,每次线上出异常查日志就只有通过容器的控制台

#logback
nginx服务器高并发配置详解(单机3w+并发)

文章目录前言nginx配置nginx异常系统配置apache-ab压测测试部分问题尾言前言以前没有动手实践高并发系统搭建,对它的认知局限在事务控制,异步处理,微服务,负载均衡的应用层处理上。这两天在服务器的实践调优,了解如何配置参数,更重要的是知道为什么要这么配置,从而认识到了应用与操作系统的一些相关联系。这个过程遇到了许多bug和系统相关,在这次记录中也会一起提到。nginx配置下面是...

#nginx#服务器#负载均衡
clickhouse(十二、踩坑之路)

Q1DB::Exception: Cannot create table from metadata file /data/clickhouse/metadata/default/dwd_test.sql, error: DB::Exception: The local set of parts of table default.dwd_test doesn’t look like the set

#clickhouse
Kubernetes实践——集群根据label构建多环境应用

文章目录需求环境实践配置节点标签配置deployment配置service验证结尾需求最新学习Kubernetes采坑不少,这里先用一个实际架构来分享下k8s的使用吧。我们通过k8s来编排一个多种环境的集群。要求集群提供不同环境services服务访问,如下图所示,暴露两个service,通过label区分,分别对应有不同pods提供服务,根据release = stable和release=..

#kubernetes
大数据架构之Kappa

Linedln的高管Jay Kreps 结合自己在公司的实践和理解,提出跟Lambda 不一样的架构,虽然Lambda立足于构建一个同时处理离线数据和实时数据分布式系统,但是因为对于一分数据,你需要同时为离线和实时编写两套不同的代码,一当业务变更或者更换系统,又需要重新编码,需要消耗巨大的人力。基于自己的理解,Jay 提出了基于Kafka的用实时完全实现数据处理的系统,他把它命名为Kappa。K.

#架构
spark获取kafka数据的partition和topic

streaming读取kafka数据的分区和主题0.10.0 or higher导入pom。<dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming-kafka-0-10_2.11<

#kafka#spark
    共 17 条
  • 1
  • 2
  • 请选择