最短路径分词中文分词有很多方法，比如N-最短路径法，N元语言模型，CRF模型等等。大致可以分为两类：一是机械化的分词，二是用机器学习方法分词。最短路径算法可以划分到第一种。这个算法效果并不是最好的，大体和IK分词打成平手。今天用最简洁语言描述一下：这个算法主要分两步：第一，构造DAG（有向无环图），第二找出最优路径。以下图为例 "有意见分歧”进行...

搜索推荐系统根据用户搜索频率（热搜）排序之前写的三叉树，有点儿简单，并不能满足实际项目的需要。先简单分析一下solr中搜索推荐系统的核心算法。　　wiki中有关于solr的搜索推荐的详细描述，但是核心算法需要自己查看源代码。关于wiki上的解读，之前做了一次简单的翻译，根据此文档，详细研读了源代码，先把核心思想呈现出来。　　　基本流程如下...

《凸优化》学习笔记（一）？凸优化在数学优化中有着重要且特殊的身份。数学优化是一个广泛的话题，理解凸优化之前，请先理解线性优化。在机器学习算法中，已知的比如LogisticRegression,SVM,都与数学优化有关，在数学中，不存在无约束优化问题。比较常见的构建损失函数方法，从最简单的两个向量的二阶范数的平方(KNN,Kmeans)到linea...

前言：本篇博客包括了随机变量和图模型推理之间的所有内容。学好《统计学》需要《微积分》，《线性代数》，《矩阵论》和《实变函数与泛函数分析》作为基础，另外再增加《凸优化》。如果只是应用的话，这些知识吸收60%就足够了，但是要搞研究的话，不仅要吸收80%以上，另外还要研究《神经生物学从神经元到大脑》和物理学，从中吸收灵感，为研究下一代AI打下好的基础，用几何问题解决代数问题是不可避免的。下一代AI的突破

写在前面的话：《统计学完全教程》囊括了统计学的全部知识，共22章，由美国著名的学者沃塞曼所著。在nlp领域里统计学占据主导地位，没有了统计学，深度学习将无法构建损失函数，无法实现图模型的推理。推理算法主要依靠统计学，包括以拉普拉斯矩阵为基础的无向图卷积算子，上个世纪的PageRank算法，随机游走模型……当今的AI主要以从海量数据中寻找规律的方式来实现弱人工智能，包括特征的抽取（比如图卷积算子..

author:佟学强abstract文章的标题想了很久，有点儿勉强了，因为让机器实现逻辑推理还差得远。在Ai领域里，目前统计学派和联结主义学派比较盛行，但是类脑学科还没突破，所以当下的Ai都是弱Ai。目前取得突破的基本都是在视觉和语音领域，nlp的进展非常缓慢。众所周知的人类两种智能归纳总结和演绎推理，联结主义只是解决了归纳总结问题，而在nlp中联结主义集中表现在文字高阶特征的抽取上，比如...