1.什么是 Docker        Docker 是一个开源项目，Docker 项目的目标是实现轻量级的操作系统虚拟化解决方案。        Docker 的基础是 Linux 容器（LXC）等技术。在 LXC 的基础上 Docker 进行了进一步的封装，让用户不需要去关心容器的管理，使得操作更为简便。用户操作 Docker 的容器就像操作一个快速轻量级的虚拟机一样简单。

一.Pig简介Apache Pig 是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，Pig 可以简化 Hadoop 的使用

Streaming从kafka接收数据有Receiver和direct两种方式。下面我们看一下这两种方式的源码。Direct approach这种方式是使用kafka的低阶API从kafka消费数据。一般如果需要自行维护partition的offset，实现自定义checkpoint文件，或者exactlyOnce场景下就会用到这一方式。首先需要看一下DirectKafkaInputD

众所周知，由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_offsets topic，并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息。　　不过依然有很多用户希望了解__consumer_offsets topic内部到底保存了什么信息

查询topic的offset的范围用下面命令可以查询到topic:test broker:suna:9092的offset的最小值：bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list suna:9092 -topic test --time -2输出test:0:1288查询offset

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://www.scala-lang.org/files/archive/scala-2.10.4.tgz

1.什么是 Docker        Docker 是一个开源项目，Docker 项目的目标是实现轻量级的操作系统虚拟化解决方案。        Docker 的基础是 Linux 容器（LXC）等技术。在 LXC 的基础上 Docker 进行了进一步的封装，让用户不需要去关心容器的管理，使得操作更为简便。用户操作 Docker 的容器就像操作一个快速轻量级的虚拟机一样简单。