由于本文是基于面试整理，因此不会过多的关注公式和推导，如果希望详细了解算法内容，敬请期待后文。　　　　RF、GBDT和XGBoost都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。　　根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：即个体学习器之间存在强依赖关系、必须串行生成的序列化方法

　　本文基于目前深度学习中使用较多的优化学习算法进行总结。1 深度学习中的优化算法　　优化算法之前讨论两个问题：　　(1) 局部最小值问题　　在深度学习中，最优化问题其实并不容易困在局部最小值点。在高维度空间时（如20000维），局部最小值点需要在所有维度上都取得最小值，概率为2−200002−200002^{-20000}，相反更容易困在鞍点处。　　同时平稳端（plate...

　　随着人工智能的发展，人机对话系统在智能家居、智能助理等领域得到长足的发展。从前年开始，大量的智能音箱（天猫精灵，小米智能音箱等）开始出现在To C端，很多互联网公司将其视作新的入口不断布局，而在To B端，阿里小蜜、网易七鱼、微软的AI Solution等系统也在不断迭代完善。特别是近年来随着深度学习技术、自然语言处理技术和人工构造的知识库规模的提升，对话系统涌现出大量的研究成果和方法，本篇博

　　在自然语言处理(Natural Language Processing, NLP)中，经常会涉及到如何度量两个文本的相似度问题。在诸如对话系统(Dialog system)和信息检索(Information retrieval)等的问题中，如何度量句子或者短语之间的相似度尤为重要。为方便对知识的梳理，写下这篇博客对部分传统方法、词向量、深度学习方法进行总结，遗漏之处还请大家补充。　　度量文..

　　随着三月初蚂蚁金服内推开启，整个暑期实习生招聘大幕也正式打开，这一场从三月初持续到之后五月的笔试面试过程，确实让笔者真真切切的感受到基础的重要性，面试和笔试不仅从机器学习，自然语言处理，数据结构与算法，高数概率论等方面考察，还包括智力题，逻辑题等。　　阿里巴巴一面：1. 介绍项目（只针对自然语言处理项目询问，召回率、准确率如何）；2. 深度学习如何提取query特征，如...

针对最近在《机器学习实战》的线性回归中遇到的问题，做一个学习小结。一、欠拟合局部加权线性回归(LWLR)：1、在线性回归发生欠拟合的时候，在估计中引入一些偏差，降低预测的均方误差。2、我们给待预测的点附近的点一定的权重，而使得远离它的点权重较低3、非参数学习方法：（1）有参数学习方法是啥？eg：LR。在训练完所有数据之后得到一系列训练参数，然后根据训练参数来预测样本的值这时

本文翻译自Jason Brownlee的博客Multivariate Time Series Forecasting with LSTMs in Keras　　传统的线性模型难以解决多变量或多输入问题，而神经网络如LSTM则擅长于处理多个变量的问题，该特性使其有助于解决时间序列预测问题。　　　　在接下来的这篇博客中，你将学会如何利用深度学习库Keras搭建LSTM模型来处理多个变量的时...

　　学习之余开设“自然语言处理杂谈”模块，一方面为了增加自然语言处理学习的兴趣；另一方面也为了了解一些业界的权威观点和实时的热点，并做以记录，以供日后回味。　　　　众所周知，在人工智能领域中，处于“感知智能”层面的计算机视觉和语音识别已经达到了新的高度，也在性能方面趋于饱和，而处于“认知智能”层面的语言理解却似乎没有达到这种高度，即使不考虑基础研究的困难，就算是现有的自然语言处理的基础研究...

　　随着三月初蚂蚁金服内推开启，整个暑期实习生招聘大幕也正式打开，这一场从三月初持续到之后五月的笔试面试过程，确实让笔者真真切切的感受到基础的重要性，面试和笔试不仅从机器学习，自然语言处理，数据结构与算法，高数概率论等方面考察，还包括智力题，逻辑题等。　　阿里巴巴一面：1. 介绍项目（只针对自然语言处理项目询问，召回率、准确率如何）；2. 深度学习如何提取query特征，如...

句法分析是自然语言处理（natural language processing, NLP）中的关键底层技术之一，其基本任务是确定句子的句法结构或者句子中词汇之间的依存关系。　　句法分析分为句法结构分析（syntactic structure parsing）和依存关系分析(dependency parsing)。以获取整个句子的句法结构或者完全短语结构为目的的句法分析，被称为成分结构分析（co