语言模型演化史Bag-of-words model此模型下，一段文本（比如一个句子或是一个文档）可以用一个装着这些词的袋子来表示，这种表示方式不考虑文法以及词的顺序文本的降维本质上涉及到了文本的表达形式在传统的词袋模型当中，对于每一个词采用one-hot稀疏编码的形式，假设目标语料中共有N个唯一确认的词，那么需要一个长度N的词典，词典的每一个位置表达了文本中出现的某一个词。在某一种特征表达下，比如

Multimodal Learning多源——来自同一数据源，比如社交网络包括照片 check-in数据等多模态——来自不同领域的数据异构多模态数据融合、多视角多模态数据是指对于一个待描述事物，通过不同的方法或角度收集到的数据。我们把收集这些数据的每一个方法或视角称之为一个模态（Modality）。 例如，在多模态的人脸识别中，多模态数据有可能由人脸的 2D 图像和 3D 形状模型这两个模态构成；

激活函数（activation function）的反函数为连接函数。ReLU修正线性单元（Rectified Linear Unit, ReLU）a = max(0, z)简单而粗暴，大于0的留下，否则一律为0ReLU函数会使得部分神经元不会产生激活，造成网络结构的稀疏性，缓解过拟合的问题优点：由上图可以看出，Relu得到的SGD的收敛速度较快缺点：训练的时候很容易‘die’了，对于小于0的值，

ARMA自回归滑动平均模型（ARMA 模型，Auto-Regressive and Moving Average Model）是研究时间序列的重要方法，由自回归模型（简称AR模型）与滑动平均模型（简称MA模型）为基础“混合”构成。在市场研究中常用于长期追踪资料的研究，如：Panel研究中，用于消费行为模式变迁研究；在零售研究中，用于具有季节变动特征的销售量、市场规模的预测等。AR：当前值只是过去值

CMU Eric Xing教授每年开的10708 PGM课程 10708 Probabilistic Graphical Models——State-of-the-art Machine LearningAndrew Ng coursera张志华台湾大学 林轩田《机器学习基石》题主，请你去学完下列课程，再回来谈创造力。一门机器学习基础课程->对标斯坦福CS229——吴恩达吴恩达-斯坦福CS2