我遇到的场景是：样本集有5000万条，接近5个G，那么这样的样本集一次导入训练，我放着一天一夜都没跑出结果，机器性能还特别好，是64位linux有128G内存。针对这样的情况，我想到的是两种思路：1）将样本集分割然后来迭代训练模型，这个对模型结果理论上是没有影响的，一次导入样本集训练，和多次导入样本多次训练同一个模型，最终模型结果应该是一致的；模型保存的针对训练集所训练出来的参数，如y=a

知识点：数据分布特征的描述1、变量集中趋势的测定变量在不同个体或不同时间条件下具体表现出来的数据是不同的，不过众多个体的数据常常会呈现出在一定范围内围绕某个中心而波动的分布特征。衡量数据集中趋势的指标有两类：一类是数值平均数，包括算数平均数、调和平均数、几何平均数；另一类是位置代表值，根据数据所处位置直接观察或根据与特定位置有关的部分数据来确定的代表值，主要有众数和中位数。测定集中

1、朴素贝叶斯介绍表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率，公式为： 贝叶斯定理： 从已知P(A|B)获得P(B|A)值。假设A和B代表两类互相影响的事件，如B代表正常邮件和骚扰邮件事件、A代表邮件文本中出现特定词汇的事件。定义：Ai，其中i∈[1,m]，m是A事件总数；Bj，其中j∈[1,n]，n是B事件的总数。根据条件概

本文讨论GNU编译器集合（GCC）中的C++编译器（g++）的典型用法，主要是指命令行选项的构造。GCC的C++编译器正常安装后，可以使用g++或c++命令执行。GCC Option Refresher本节回顾GCC的C编译器的基本使用方法。g++编译器的选项可以是单字符，比如-o，也可以多字符，比如-ansi。所以你不可以把多个单字符选项合写到一起，这和许多其他GNU和UNIX下的程

利用C/C++开发大型应用程序中，内存的管理与分配是一个需要认真考虑的部分。本文描述了内存池设计原理并给出内存池的实现代码，代码支持Windows和Linux，多线程安全。内存池设计过程中需要考虑好内存的分配与释放问题，其实也就是空间和时间的矛盾。有的内存池设计得很巧妙，内存分配与需求相当，但是会浪费过多的时间去查找分配与释放，这就得不偿失；实际使用中，我们更多的是关心内存分配的速

入侵检测是指在特定的网络环境中发现和识别未经授权的、恶意的入侵和攻击，并对此作出反应的过程。入侵检测系统（IDS，Intrusion Detecting System）是一套运用入侵检测技术对计算机或网络资源进行实时检测的系统工具。IDS一方面检测未经授权的对象（人或程序）入侵系统，另一方面还监视授权对象对系统资源的非法操作。入侵检测作为一种积极主动的安全防护技术，提供了对内部、外部和误操作的实时

1.Libnids介绍：   Libnids(library  network intrusion detection system)是网络入侵检测开发的专业编程接口，实现了网络入侵检测系统的基本框架，提供了一些基本功能。Libnids是基于libpcap和libnet而开发的，其主要功能包括捕获网络数据包、IP碎片重组、TCP数据流重组以及端口扫描攻击检测和异常数据包检测等。 2.L

# -*- coding: utf-8 -*-'''Created on 2018年1月26日@author: Jason.F@summary: 多层感知器实现，加梯度检验训练集：http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte: training set imagestrain-labels-idx1-ubyte: t

4.数据仓库和联机分析处理数据仓库泛化、合并多维空间的数据。构造数据仓库涉及数据清理、数据集成和数据变换，是数据挖掘的预处理步骤。数据仓库提供联系分析处理（OLAP）工具，用于各种粒度的多维数据的交互分析，助力数据泛化和数据挖掘，可以和数据挖掘功能集成，如关联、聚类、分类和预测，用以加强多个抽象层上的交互知识挖掘。数据仓库是数据分析和联系数据分析处理的重要平台，并为数据挖掘提供有效平台，构

场景：将Python程序通过hadoop-streaming提交到Hadoop集群执行。参考：http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/1、Python编写Mapper   业务逻辑是从会从标准输入（stdin）读取数据，默认以空格分割单词，然后按行输出