–第二部分 kafka,scala,sparkday01 kafka1. 和zk的关系元数据存放到zk(节点)中, 应用了zk的统一命名的功能集群节点信息: brokerId 每台机器的idtopic信息: 在哪台机器上的哪个位置parititon主从信息: 每个partition多个副本中,谁是老大partition_0 有多个副本, 需要选择出老大,应用了zk的分布...

1. sql基础)建表语句--建表--学生表CREATE TABLE `Student`(`s_id` VARCHAR(20),`s_name` VARCHAR(20) NOT NULL DEFAULT '',`s_birth` VARCHAR(20) NOT NULL DEFAULT '',`s_sex` VARCHAR(10) NOT NULL...

1. Spark设置日志级别前言Spark有多种方式设置日志级别,这次主要记录一下如何在Spark-submit设置Spark日志级别,本文介绍三种方式需求因为Spark的日志级别默认为INFO(log4j.rootCategory=INFO, console),这样在运行程序的时候有很多我不需要的日志信息都打印出来了，看起来比较乱，比较烦，抓不住重点，而我只想把warn和error打印...

1. 基本命令ls -R 树结构显示某文件夹下的所有文件（包括子文件夹 ）touch 文件名创建文件mv2.txt3.txt重命名mv2.txtbbb/3.txt2.txt剪切到bbb/目录下并重新命名为3.txtcp -r aaa/bbb/递归复制aaa/目录到bbb/目录下mvaaa/bbb/...

1. 什么是HueHUE=Hadoop User ExperienceHue是一个友好的界面集成框架，可以集成我们各种学习过的以及将要学习的框架，一个界面就可以做到查看以及执行所有的框架1.1 Hue连接Site: http://gethue.com/Github: https://github.com/cloudera/hueReviews: https://review.clou...

1. Kafka-eagle概述Kafka没有专门的监控界面，当业务不复杂时，我们可以使用Kafka命令提供带有Zookeeper客户端工具的工具，可以轻松完成我们的工作。随着业务的复杂性，增加Group和Topic，Kafka命令已经无法满足业务需求，需要专门的Kafka监控系统，来关注消费者应用的细节。2. Kafka-eagle环境部署和安装2.1 环境2.1.1 安装JDK...

–第二部分 kafka,scala,sparkday01 kafka1. 和zk的关系元数据存放到zk(节点)中, 应用了zk的统一命名的功能集群节点信息: brokerId 每台机器的idtopic信息: 在哪台机器上的哪个位置parititon主从信息: 每个partition多个副本中,谁是老大partition_0 有多个副本, 需要选择出老大,应用了zk的分布...

前言_BenchMarkBenchMark是一个系统性能的测量工具，也可以看做是一种评价方式主要测试负载的执行时间、传输速度、吞吐量、资源占用率等对系统进行性能基准测试后，将得到基准数据作为性能指标的参照物，可以用于以下场景1.任意一项变更为系统产生的影响修改某项配置参数后（启用某项参数），系统的变化情况2.系统环境的变更对系统性能产生的影响3.在相同场景下，不同框架的系统...

1. HBase Shell操作连接集群hbase shell

学习目标掌握倒排索引原理了解Lucene的作用了解Field字段的选择掌握Lucene创建索引基本API掌握Lucene查询基本API1. 了解搜索技术1.1 搜索引擎什么是搜索引擎？搜索引擎的原理可以看到搜索引擎的功能主要是三部分：爬行和抓取数据（爬虫多用Python来编写、但是Java也能实现）对数据做预处理（提取文字、中文分词、建立倒排索引）提供搜...