用C++做程序真够麻烦的，先不说各种数据类型搞的人头疼，再者读写各种编码的文本文件ansi、Unicode、UTF-8等等，让人头晕目眩的。          这半年来经常要用C++处理各种不同编码的文本文件，开始读取Unicode文件，一直很麻烦。用了wifstream，wsp

统计自然语言处理简介，数学基础，概率论，Zipf 定理，词语搭配

统计自然语言处理简介，数学基础，概率论，Zipf 定理，词语搭配

1 贝叶斯公式设x是个随机变量，表示为鱼的光泽度，w1、w2分别表示鲈鱼和鲑鱼。已知的先验概率为p(w1)+p(w2) = 1。P(x | w) 表示类别状态为w时的x的概率密度函数，有时也称为状态条件概率密度。因此，p(x | w1)与p(x | w2)之间的区别就表示了鲈鱼与鲑鱼间光泽度的区别。如图2.1在通过观察和测量（这在实际应用中，可以通过训练语料的出），发现了一

在一组数据集中检索特定的模式问题是一个很基础，且历史很长的并取得了很大成功的问题。例如，16世纪在Tycho Brahe兴起的天文热中，开普勒(Johannes Kepler)发现了星球运动的实际规律，这些发现最终导致了经典力学的发展。类似的，原子光谱规律的发现，对于20世纪早起的量子物理学的发展和确定起到了关键的作用。模式识别的研究领域集中在通过计算法程序算法从数据集中自动的发现数据的规律，通过

声明：本文由英文原版“Pattern Recognition and Machine Learning”翻译而来，文中的插图均为原书的配图，只为学习目的。在上文中已经知道了曲线拟合（polynomial curve fitting）问题可以用误差最小化（error minimization）概念来表示。这里用概率的观点来重新看待曲线拟合问题，因此对于以下概念要了解一下：error func

声明：本文由英文原版“Pattern Recognition and Machine Learning”翻译而来，文中的插图均为原书的配图，只为学习目的。这里介绍一个简单的回归问题(regression problem)，在下文中利用这个例子讲解几个关键的概念。假如，我们观察到一个实数(real-valued)输入变量x，期望利用观察到的这个变量预测这个实数的实数目标变量t。就以目前的目的

A Maximum Entropy Approach to Natural Language Processing（自然语言处理的最大熵方法 ）        最大熵的方法可以追溯到圣经时期（Biblical times）。但是，到了目前计算机已经变得足够的强大，在现实世界中的实际问题，比如统计估计、模式识别等问题可以用到最大熵的概念来处理。在本文，我们介绍一个基于最大熵的统计方法。展示了

模式识别起源于工程领域，而机器学习起源于计算机科学。然而这些不同的学科可以看做是一个领域的不同方向，并且在过去几十年中都经历了长足的发展。特别指出的是贝叶斯方法（Bayesian methods）从过去的专利方法（specialist niche），变成了主流的方法（mainstream），图模型作为通用框架来描述和应用概率模型而兴起来。贝叶斯方法的实际实用性极大的促进了一系列近似推理算法（app