前言：    博文介绍了一些面试中常被问到的一些知识点，是从我记录的笔记中整理出来，分享给大家。概述：        真题：写出尽可能多的linux命令    延伸：系统定时任务              vi/vim编辑器              shell基础写出尽可能多的linux命令系统安全：sudo、su、chmod、setfacl进程管理：w、top ps kill pkill ki

前言自动生成日志的打点服务器完成了，日志便可以顺利生成了。接下来就要使用flume对日志进行收集，即将日志产生的节点收集到一个日志主控节点上去，这样的目的是便于在主控节点上为不同的日志打上不同的标签，从而推送到kafka上，供不同的消费者来使用。下面为大家介绍一下如何使用flume搭建自己的日志收集系统。环境操作系统： CentOS7 * 2Flume版本：flume-ng-1.6.0-cdh5.

使用mysqldump工具优点简单易用，只需一条命令即可完成数据导出。可以导出表结构和数据，方便完整备份。支持过滤条件，可以选择导出部分数据。生成的文件可以用于跨平台、跨版本的数据迁移。缺点导出的数据包含额外的INSERT语句，可能导致导入速度较慢。不能使用复杂的JOIN条件作为过滤条件。推荐场景需要备份和迁移表结构和数据。需要导出部分数据到其他系统或进行数据分析。导出CSV文件优点CSV格式通用

生产者只要将数据发送到leader副本，kafka就会返回ack，leader中的数据先在缓存中，数据写磁盘需要一段时间。ISR假设为空，或者小于最小副本数，生产者往Kafka写数据的时候一直会报错，不能说它一报错Kafka生产者就直接终止，我们肯定要设置一个重试次数，来提升程序的健壮性。这种情况下就一定会带来风险，一旦你的集群断电了，缓存里的数据还没有来得及往磁盘溢写，那这个时候数据就丢失了。当

Clickhouse是俄罗斯yandex公司于2016年开源的一个列式存储数据库管理系统，是流行的OLAP数据库之一，使用MPP架构，以其超高的查询性能受到业界的青睐。Clickhouse数据压缩性能很好，相比PostgreSQL，所需磁盘空间减少70%；社区活跃，支持TTL（过期数据定期删除），适配多种操作语言（Java、Go、Python、Nodejs）。

前言博主最近疯狂的迷恋上了leetcode刷题，想要锻炼脑力和算法思想的，推荐去这个网站上刷题。因为是用c++编写的，而且提交的时候会经常遇到一些报错。比如题目的这个。好了，下面开始解答。错误信息double free or corruption (out): 0x00000000011abe70 ***问题分析基本上根据题目判定，类型没得跑，内存问题。所以会有几种情况：1.    内存重复释放，

像用cdc、ogg这样的一个技术，会监控数据库的日志。当然很多时候，在生产中的选型比较复杂，而且会有MPP与大数据产品一起使用的场景，但整体的流程不变，只是各阶段的产品有所替换。然后由流（处理）引擎，比如说spark生态圈的spark streaming，当然还有比较新的像flink这些产品进行一个实时处理。一般开源场景中，Hive是做数仓选型比较多的一个组件，或者放到Spark生态圈的spark

前言博主因为准备写一个博客系统，所以参考一下开源的博客有没有合适的。对下面几款php博客进行了安装和使用。对每个博客的首页、后台、写作页面进行了截图。大家可以对照参观，选择自己心仪的博客。EMLog首页相对简洁，后台就不敢恭维了，比较杂乱，写作的时候也比较不舒服。Typecho这几款里相对整洁的一款，首页、后端都比较简洁，文章编写上也比较像博客的书写方式。...

前言最近项目遇到一个问题，就是在javascript中使用new Date().Format("YYYY-mm-dd")的时候，会出现报错现象，直接导致界面无法正常显示。下面为大家解答一下。 问题详情new Date().format("YYYY-mm-dd")javascript调用上述代码报错，(intermediate value).Format is

错误描述按照官方文档，搭建Hive On Spark时，出现以下错误。FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session xxx: java.util.concur