hadoop 2.x常用端口及查看方法一、常用端口组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口，用于数据传输HDFSDataNode50075dfs.datanode

我搜集了国内10几个电影网站的数据，里面近几十W条记录，用文本没法存，mongodb学习成本非常低，安装、下载、运行起来不会花你5分钟时间。# -*- coding: utf-8 -*-# by mazh. my site: http://blog.csdn.net/zhongqi2513import reimport urllib2from bs4 import Beauti

1、Spark Streaming简介1.1 概述Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算

NIO 从 JDK1.4  才开始有：JDK1.7 推出 NIO 2.0在JDK1.4推出Java NIO之前，基于Java的所有Socket通信都采用了同步阻塞模式（BIO），这种一请求一应答的通信模型简化了上层的应用开发，但是在性能和可靠性方面却存在着巨大的瓶颈因此，在很长一段时间里，大型的高性能服务端应用程序都采用C或者C++语言开发，因为它们可以直接使用操作系统提供的异步I/O或者AIO能

 PandasSpark工作方式单机single machine tool，没有并行机制parallelism不支持Hadoop，处理大量数据有瓶颈分布式并行计算框架，内建并行机制parallelism，所有的数据和操作自动并行分布在各个集群结点上。以处理in-memory数据的方式处理distributed数据。支持Hadoop，能处理大量数据延迟机制not lazy-evaluatedlazy

PO(persistant object) 持久对象在 o/r 映射的时候出现的概念，如果没有 o/r 映射，没有这个概念存在了。通常对应数据模型 ( 数据库 ), 本身还有部分业务逻辑的处理。可以看成是与数据库中的表相映射的 java 对象。最简单的 PO 就是对应数据库中某个表中的一条记录，多个记录可以用 PO 的集合。 PO 中应该不包含任何对数据库的操作。DO（Domain

算法一：快速排序算法快速排序是由东尼·霍尔所发展的一种排序算法。在平均状况下，排序n个项目要Ο(nlogn)次比较。在最坏状况下则需要Ο(n2)次比较，但这种状况并不常见。事实上，快速排序通常明显比其他Ο(nlogn)算法更快，因为它的内部循环（innerloop）可以在大部分的架构上很有效率地被实现出来。快速排序使用分治法（Divideandconquer...

1、jQuery简介jQuery是一个实用的JavaScript库。jQuery极大地简化了JS对DOM的操作，实现一些常用的方法，jQuery还可以链式操作。2、jQuery的基本用法//引入jQuery文件，可以本地也可以远程//当文档完成加载完时触发，避免获取dom对象时，dom对象还没有加载$(document).ready(function(){//写js语句或者j

在过去的几个月中，我一直在收集有关人工智能的相关资料。随着各种的问题被越来越频繁的提及，我决定整理并分享有关人工智能、神经网络、机器学习、深度学习与大数据的技术合辑。同时为了内容更加生动易懂，本文将会针对各个大类展开详细解析。神经网络机器学习机器学习： Scikit-learn 算法此部分内容可以帮助你解决机器学习中最难的部分，即找到正确的估计器（Estimator）。下图可帮助快速查找文档与简介

PO(persistant object) 持久对象在 o/r 映射的时候出现的概念，如果没有 o/r 映射，没有这个概念存在了。通常对应数据模型 ( 数据库 ), 本身还有部分业务逻辑的处理。可以看成是与数据库中的表相映射的 java 对象。最简单的 PO 就是对应数据库中某个表中的一条记录，多个记录可以用 PO 的集合。 PO 中应该不包含任何对数据库的操作。DO（Domain