logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

linux解压文件出现gzip: stdin has more than one entry--rest ignored tar: Child returned status 2 tar: Error

使用tar命令解压.zip文件出现gzip: stdin has more than one entry–rest ignoredtar: Child returned status 2tar: Error is not recoverable: exiting now问题原因解压.zip文件需要使用unzip组件,但没有安装unzip组件运行命令‘yum install unzip’unzip

#linux
kafka基础【架构深入】

1 kafka工作流程,存储机制kafka以topic为单位进行工作,一个topic是一个整体,一个topic是一个消息队列,生产者不停地向队列中生产数据,消费者从topic中不停的消费数据。topic是一个逻辑上的整体,物体上一个topic分为许多个partition,目的:增加扩展性,提高吞吐量,partition内部数据有序。partition才是kafka存储数据的基本单位,一个parti

#kafka
kafka基础【kafka的概述、安装、命令行操作】

一 kafka概述1 kafka定义kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue)。类似于一个有顺序的缓冲区,将访问的信息缓冲起来,减少服务器的压力,主要应用于大数据实时处理领域。点对点模式:一对一,消费者主动拉取数据,消息收到后消息清除。消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消息。消息被消费以后,queue中不再有存储,

#kafka
java基础【HashSet,ArrayList,TreeSet集合,泛型,iterator迭代器,HashMap,properteries,Collections工具类】

1、解决的问题实现批量对象的存储,集合比数组更加灵活。数组长度、类型都固定。可将集合看做一个可变长度的Object数组。2、Java集合框架框架一般意味着类,接口,抽象类等各种东西都很多。当学习一个框架时,要清楚有接口,接口下面有抽象类,抽象类下面有具体类。当面对一个框架时,首要任务是去学习这个框架的接口。3、Collection接口APICollection集合:保存一个一个的对象,特点是 无序

#java#开发语言#后端
kafka基础【Producer和Consumer的API操作】

一 Producer的API1 消息发送流程Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main线程和Sender线程,以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。kaf

#kafka#java#分布式
机器学习【概述】

测试者与被测试者(一个人和一台机器)隔开的情况下,通过一些装置(如键盘)向被测试者随意提问。多次测试(一般为5min之内),如果有超过30%的测试者不能确定被测试者是人还是机器,那么这台机器就通过了测试,并被认为具有人类智能。计算机视觉人脸识别自然语言处理语音识别、语义识别文本挖掘/分类机器翻译机器人。.........

文章图片
#人工智能#机器学习#数据挖掘
JavaEE【服务器端技术、异步请求ajax、json】

1、服务器端技术Tomcat服务器常用的web服务器 Tomcat(Apache):当前应用最广的JavaWeb服务器。什么是Servlet(1)Servlet是Sun公司制定的一套技术标准,包含与Web应用相关的一系列接口,是Web应用实现方式的宏观解决方案,而具体的Servlet容器负责提供标准的实现;(2)Servlet作为服务器端的一个组件,它的本意是“服务器端的小程序”。Servlet的

#java-ee#tomcat#服务器
JavaEE核心【Maven的基本概念和安装步骤】

1、为什么要使用Maven第三方引入jar包在今天的JavaEE开发领域,有大量的第三方框架和工具可以供我们使用。要使用这些jar包最简单的方法就是复制粘贴到WEB-INF目录下的lib目录下。但是这会导致每次创建一个新的工程就需要将jar包重复复制到lib目录下,从而造成工作区中存在大量重复的文件。而使用Maven后每个jar包只在本地仓库中保存一份,需要jar包的工程只需要维护一个文本形式的j

文章图片
#maven#java-ee#java
【SparkStreaming】DStream创建和转换(无状态操作,有状态操作)

专门的Executor读取数据,速度不统一跨机器传输数据,WALExecutor读取数据通过多个线程的方式,想要增加并行度,则需要多个流unionoffset存储在Zookeeper中Executor读取数据并计算增加Executor个数来增加消费的并行度offset存储​a)CheckPoint(getActiveOrCreate方式创建StreamingContext)​b)手动维护(有事务的

文章图片
#kafka#大数据#spark
HBase基础【HBase简介、HBase安装、HBase shell操作】

HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。Apache HBase 是 Hadoop 数据库,一种分布式、可扩展的大数据存储。当需要对大数据进行随机、实时的读/写访问时,请使用 Apache HBase。 该项目的目标是在商用硬件集群上托管非常大的表——数十亿行 * 数百万列。 Apache HBase 是一个开源、分布式、版本化、非关系型数据库,模仿 Google 的

#hbase#big data#hadoop
到底了