X-Forwarded-For(XFF) 在客户端访问服务器的过程中如果需要经过HTTP代理或者负载均衡服务器，可以被用来获取最初发起请求的客户端的IP地址，这个消息首部成为事实上的标准。在消息流从客户端流向服务器的过程中被拦截的情况下，服务器端的访问日志只能记录代理服务器或者负载均衡服务器的IP地址。如果想要获得最初发起请求的客户端的IP地址的话，那么 X-Forwarded-For 就派上了用

0x4745 为"GET"前两个字母"GE"0x4854 为"HTTP"前两个字母"HT"说明： 通常情况下:一个正常的TCP连接，都会有三个阶段:1、TCP三次握手;2、数据传送;3、TCP四次挥手。

很明显，由于上游在keyby处理后，导致下游不同分区数据分配不均衡，导致不同分区到达的水印不一致，这种情况下可以考虑收缩分区数量；

近两年大家惯常听到一个词“大数据”，什么是大数据?顾名思义，大数据指数据总量巨大，其中包含各个类型的数据库体系。IBM曾经做过一个统计，世界上90%的可用数据，是在过去两年内所产生的。数据之所以庞大主要来自于机器的介入，从流水线上某一台中控设备的每一个传感信息到智能终端上每一次用户点击，时时刻刻都在产生数据。　　对于数据的有效利用已经成为各个公司首要关心的事情，他们借助于整合公司多样化的数

debian修改apt-get安装源该S的Debian系统，一点也不习惯。可能因为习惯了红帽子系列的RHEL 、CentOS。因为项目需要用到在Debian里安装虚拟机环境，昨天搞了一天没有搞定VMWare，今天想试一下VirtualBox，结果还是发现很多依赖包安装不了。快把我给折腾疯了，于是想到apt-get应该和yum类似，问题会不会出在安装源的问题上

版权声明：本文为博主原创文章，未经博主允许不得转载。    https://blog.csdn.net/xiangxizhishi/article/details/794413911.什么是容器?  依托与linux 内核功能的虚拟化技术2. docker 是什么？  能够把应用程序自动部署到容器的开源引擎3. docker 跟原有的工具有何区别？传统的部署模式是：安装(包管...

没有找到windows下的memcache，我们就用linux下的包来安装先下载memcache linux下的安装包ftp://ftp.tummy.com/pub/python-memcached/python-memcached-latest.tar.gz地址从这里 找到的rar解压后文件夹下有setup.pymemcache.py

由于没有原生支持，肯定要写UDF直接上代码import com.alibaba.fastjson.JSON;import org.apache.spark.sql.api.java.UDF2;import scala.collection.Seq;import java.util.HashMap;import java.util.Map;public class ToJsonUdf impleme

Kafka除了具备消息队列MQ的特性和使用场景外，它还有一个重要用途，就是做存储层。用kafka做存储层，为什么呢？一大堆可以做数据存储的 MySQL、MongoDB、HDFS……因为kafka数据是持久化磁盘的，还速度快；还可靠、支持分布式……啥！用了磁盘，还速度快！！！没错，kafka就是速度无敌，本文将探究kafka无敌性能背后的秘密。首先要有个概念，kafka高性能的背后，是多方面协同后、

mysql一张表建多个字段比较合适呢，答案来嘞要想解决这个问题，请看下图上图是mysql物理存储的结构，由段-区-页-行组成每个区是1M大小，由连续的64个16k的页组成，每个页又由N行组成看到这里你就知道了，每个页16k，在mysql内存加载过程中，数据加载的最小单位是页。所以每个页中存储的行越多，则数据加载的页会越少，查找性能越高。假设一页16k=160行，则一行=10...