在VMware上安装虚拟机是学习linux比较好的途径，VMware安装好一台虚拟机后，我们往往需要多台虚拟机练习不同的业务，这时候就可以克隆已经安装好的虚拟机，无需重新安装。克隆出的虚拟机需要更改hostname、ip地址、mac地址才可以正常使用。这里以CentOS为例简单说明。1、修改hostname输入vi /etc/sysconfig/network，回车键，按i进行编辑...

一、简述1、es介绍ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口，Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。ElasticSearch应用广泛，常用用于大数据、云计算中，它包含如下特性：分布式高可用搜索引擎：每个索引...

hive依赖于hadoop集群和mysql数据库，hadoop集群安装不在详述，mysql见3(3)1、配置分布NameNodeDataNodeZookeeperDFSZKFCJournalNodehive(单用户)hive(多用户)mysqlnode0111...

1。regexp_extract语法:regexp_extract(stringsubject, stringpattern, intindex)返回值:string说明： 将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符。第一参数：要处理的字段第二参数:需要匹配的正则表达式第三个参数:0是显示与之匹配的整个字符串1 是显示第一个括号里面的2 是显示第二个括号

Perl 环境安装linux已经默认安装了 perl，我们可以通过以下命令来查看是否已安装$ perl -vThis is perl, v5.10.1 (*) built for x86_64-linux-thread-multiCopyright 1987-2009, Larry WallPerl may be copied only under the terms of ei...

vue项目中，我们经常会在在外部文件中使用router做一些拦截、跳转之类工作，但是这时候使用this.$router是无效的，undefined的。就是this的没有指向，也是undefined的，this中就自然没有$router。不比.vue结尾的组件文件，最终都会被注册到main.js中，而main.js中我们一般已经导入了index.js中创建的VueRouter对象，所有vue结尾的文

一、kafka 本身配置层面1.1、replication.factor 默认值1创建kafka的topic时候，每个分区设置的副本数， 根据broker数量酌情设置， 但最少1个1.2、min.insync.replicas 默认值1ISR中的最小副本数小于min.insync.replicas 时候，分区不可用，将拒绝客户端的消息，通常使用小于replication.factor，当reque

一、Producer生产者，负责创建消息，把消息投递Kafka中二、Consumer消息者，负责接收消息，一般是本地客户端，由研发人员手动编写代码实现，连接到kafka获取消息，进行消息费三、Broker存储消息的节点。就kafka而言，Broker可以视为一个kafka服务节点或实例。一个或多个Broker实例组成了一个kafka集群四、Topic主题，kafka中的消息存储以主题单位进行分类存

今天发现一台kafka broker宕掉，重启kafka broker集群发现日志中报如下错误，查阅各种资料，解决问题如下一、出现的问题Found a corrupted index file due to requirement failed: Corrupt index found, index file (/var/local/kafka/data/uws_topic-2/00...

昨天晚上突然收到Spark任务的告警异常，立即打开电脑查看原由，经过一番分析查找，问题得到解决，习惯记录一下一、直接问题现象Spark读取kafka超时， 重新连接依然超时，那就是肯定是kafka出问题了二、问题分析排查1、分析kafka日志查看其中一台kafka的broker日志，发现了如下错误查看另一台kafka日志也发现同样的错误，也不用再看其它了...