debian修改apt-get安装源该S的Debian系统，一点也不习惯。可能因为习惯了红帽子系列的RHEL 、CentOS。因为项目需要用到在Debian里安装虚拟机环境，昨天搞了一天没有搞定VMWare，今天想试一下VirtualBox，结果还是发现很多依赖包安装不了。快把我给折腾疯了，于是想到apt-get应该和yum类似，问题会不会出在安装源的问题上

版权声明：本文为博主原创文章，未经博主允许不得转载。    https://blog.csdn.net/xiangxizhishi/article/details/794413911.什么是容器?  依托与linux 内核功能的虚拟化技术2. docker 是什么？  能够把应用程序自动部署到容器的开源引擎3. docker 跟原有的工具有何区别？传统的部署模式是：安装(包管...

没有找到windows下的memcache，我们就用linux下的包来安装先下载memcache linux下的安装包ftp://ftp.tummy.com/pub/python-memcached/python-memcached-latest.tar.gz地址从这里 找到的rar解压后文件夹下有setup.pymemcache.py

由于没有原生支持，肯定要写UDF直接上代码import com.alibaba.fastjson.JSON;import org.apache.spark.sql.api.java.UDF2;import scala.collection.Seq;import java.util.HashMap;import java.util.Map;public class ToJsonUdf impleme

Kafka除了具备消息队列MQ的特性和使用场景外，它还有一个重要用途，就是做存储层。用kafka做存储层，为什么呢？一大堆可以做数据存储的 MySQL、MongoDB、HDFS……因为kafka数据是持久化磁盘的，还速度快；还可靠、支持分布式……啥！用了磁盘，还速度快！！！没错，kafka就是速度无敌，本文将探究kafka无敌性能背后的秘密。首先要有个概念，kafka高性能的背后，是多方面协同后、

mysql一张表建多个字段比较合适呢，答案来嘞要想解决这个问题，请看下图上图是mysql物理存储的结构，由段-区-页-行组成每个区是1M大小，由连续的64个16k的页组成，每个页又由N行组成看到这里你就知道了，每个页16k，在mysql内存加载过程中，数据加载的最小单位是页。所以每个页中存储的行越多，则数据加载的页会越少，查找性能越高。假设一页16k=160行，则一行=10...

错误连接数据库 [MySql-1] :org.pentaho.di.core.exception.KettleDatabaseException:Erroroccured while trying to connect to the databaseExceptionwhile loading classorg.gjt.mm.mysql.Driverkettle在初次配置的

获取topic下所有的partion计算每个partion的offset将分区offset移动最新的位置提交分区最新的位置如下代码public class KafkaConsumerOffsetManager {private KafkaConsumer consumer;private String topic;public KafkaConsumerRunnable(KafkaConsumer

kafka是如何压缩消息的？要弄清楚这个问题，就要从kafka的消息格式说起。kafka的消息层次分为两层：消息集合(message set)以及消息(message)。一个消息集合包含若干条日志项(recorditem)，而日志项才是真正封装消息的地方。kafka底层的消息日志由一系列消息集合日志项组成。kafka通常不会直接操作具体的一条条消息，它总是在消息集合这个层面上进行写入操作。在kaf

生产者发送多个消息到同一个分区的时候，为了减少网络带来的系能开销，kafka会对消息进行批量发送batch.size通过这个参数来设置批量提交的数据大小，默认是16k,当积压的消息达到这个值的时候就会统一发送（发往同一分区的消息）linger.ms这个设置是为发送设置一定是延迟来收集更多的消息，默认大小是0ms（就是有消息就立即发送）当这两个参数同时设置的时候，只要两个条件中满足一个就会发送。比如