一 重要的概念理解1 什么是nginx呢?Nginx是一个web服务器和反向代理服务器，用于HTTP、HTTPS、SMTP、POP3和IMAP协议.2 什么是反向代理呢?反向代理隐藏了真实的服务端，当我们请求 www.baidu.com 的时候，就像拨打10086一样，背后可能有成千上万台服务器为我们服务，但具体是哪一台，你不知道，也不需要知道，你只需要知道反向代理服务器是谁就好了...

何为建模？数据几乎总是用于两种目的：操作型记录的保存和分析型决策的制定。简单来说，操作型系统保存数据，分型型系统使用数据。前者一般仅反映数据的最新状态，按单条记录事务性来处理；其优化的核心是更快地处理事务。后者往往是反映数据一段时间的状态变化，按大批量方式处理数据；其核心是高性能、多维度处理数据。通常我们将操作型系统简称为OLTP（On-Line Transaction Processing）..

用Chrome浏览器的应该都知道，Chrome的优势之一就是有各种拓展的插件，使得我们浏览，工作效率都更高。今天给大家推荐的一款”神器插件”叫 油猴，英文为 Tampermonkey油猴是什么Tampermonkey 是一款浏览器脚本管理插件，支持大多常见浏览器，结合脚本大全网站 greasyf...

一、Hadoop相关工具1. HadoopApache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来，已成为一个完整的生态系统，众多开源工具面向高度扩展的分布式计算。支持的操作系统：Windows、Linux和OS X。相关链接：http://hadoop.apache.org2. Ambari作为Hadoop生态系统的一部分，这个Apache项目提供了基于We...

说到人工智能必然要了解机器学习，从信息化软件，到电子商务，然后到高速发展互联网时代，到至今的云计算、大数据等，渗透到我们的生活、工作之中，在互联网的驱动下，人们更清晰的认识和使用数据，不仅仅是数据统计、分析，我们还强调数据挖掘、预测。一、什么是机器学习1. 机器学习概念机器学习就是对计算机一部分数据进行学习，然后对另外一些数据进行预测与判断。机器学习的核心是“使用算法...

这个非常简单，有2个命令可以实现，一个是chage，一个是passwd，下面我简单介绍一下：这里为了方便演示过程，新创建一个Jack用户用于测试，命令“useradd Jack”，如下，密码可以任意设置：chage1.这是一个密码实效管理命令，专门用来修改账号和密码的有效期限，这里我们可以先用命令“chage -l Jack”来查看一下Jack用户当前密码的有效期，如下，可以看出，...

有一天，镇上新开了个银行，说存100w有优惠，然后你去存了，接着过了很久，你想取出来，银行却说一天只能取一百，不然你就要办会员卡。于是乎笔者就推荐给大家一个自建网盘的文章。为什么要自建网盘呢？文章开头就是这样。正文如下。网盘源码：nextcloud运行环境：linux（windows不支持，除非docker）网盘简介nextcloud是一个很好用...

问题：sparkstreaming消费kafka如何保证输出结果只会产生一次解决方案：1.自己实现commitsync方法 ，这个方法运行时毫秒级2.每次消费完之后将offset保存到hdfs或本地，启动的时候读这个文件并且加入新增的partition offset即可但是！上面的方案还是会出现问题。。。因为入库操作和commitc方法不是一个原子操作。所以程序停止时可...

1、消息的消费机制（回答有序消费问题）主要说的是消费者与目的地的关系（comsumer与topic的关系）本质上kafka只支持Topic；（1）每个group中可以有多个consumer，每个consumer属于一个consumer group；通常情况下，一个group中会包含多个consumer，这样不仅可以提高topic中消息的并发消费能力，而且还能提高”故障容错”性，如果grou...

一、测试写速度：time dd if=/dev/zero of=/tmp/test bs=8k count=1000000测试结果：565 MB/s二、测试读速度：time dd if=/tmp/test of=/dev/null bs=8k测试结果：4.7GB/s三、测试读写速度：time dd if=/tmp/test of=/var/test bs=...