Q-Learning 与 Sarsaq-learning 与sarsa都是model free情况下通过 TD求解的Bellman equation的方法。他们的区别是q-learning是off-policy的，sarsa是on-policy的。公式对比Sarsa：Q-learning：二者的区别：网上都在说sarsa是一个保守的算法，而q-learning是一个更价激进的算法，这是为什么呢？S

处理器特性处理器的并行特性包括：指令集并行向量化并行线程级并行缓存优化了解目标处理器的特性才能写出高质量的代码。现代处理器的运算速度远快于内存读写速度，为了减少访问数据的延迟，现代处理器主要采用了以下两种方式：利用程序的局部性，将正在访问或者即将访问的数据放到缓存当中。利用并行性，在一个高延时的指令阻塞的时候，执行另一个控制流。现代乱序多核处理器与许多与代码优化相关的特性：指令集并行：流水线，多发

Analysis of Large-Scale Multi-Tenant GPU Clusters for DNN Training Workloads作者提出分布式机器学习系统中出现的三个问题：作业调度GPU利用率训练中会产生的错误作业调度由于分布式机器学习中要求资源限制而使用gang调度算法，因此会产生资源碎片导致利用率不高。由于需要同步参数因此分布式作业locality非常重要，但也由于lo

集群调度器的演进Firmament.io这片paper详细总结了目前调度的几大分类：a. 集中式调度器：代表k8s、Hadoop 、HPC 调度器。优势：调度器可以感知全局信息，因此可以基于此开发不同的调度算法来避免因为作业竞争而产生作业干扰。因为可以获取集群全局信息因此可以设计优先级抢占算法。劣势：1.针对不同类型的作业都采用了同一种调度算法; 2.调度器对作业处理的顺序是一个问题，需要一个良好

阿里云在k8s中实现了在容器间对GPU的资源共享，具体实现为：aliyun/gpushare-scheduler-extenderaliyun/gpushare-device-pluginscheduler-extender与default scheduler的关联：在default scheduler的默认启动参数中添加参数--configextender-config.yaml中为extend

GMM只能针对单个样本（变量）进行建模，当把随机变量延伸到随机序列的时候，就需要通过HMM模型进行估计。HMM基本组成：HMM由初始概率分布(π\piπ)、状态转移概率分布(A)、观测概率分布决定(B), A,B,π\piπ是HMM的三要素当HMM的观测概率分布是由混合告诉模型GMM表示时，称之为GMM-HMM模型。HMM的三个基本问题：概率计算问题：直接计算法前向算法：后向算法：预测算法：Vit

语音识别Overview语音识别输出的数据类型（Token）分类Phoneme：发音的基本单位（类似于音标）需要一个lexicon记录word与phonemes的对应关系：Grapheme：书写的基本单位中文：一个字英文：26个英文单词无需lexicon的映射关系word：词不同语言的词汇都非常的多-morpheme：有意义的基本单位（长度在word和grapheme之间）例如unbreakabl

语音信号特征提取流程预加重：preemphasis反应到代码其实就是1行：np.append(signal[0], signal[1:] - coeff * signal[:-1])加窗分帧为什么要加上帧移？加窗的代价是一帧信号两端的部分被削弱了，没有像中央的部分那样得到重视。弥补的办法是，帧不要背靠背地截取，而是相互重叠一部分。相邻两帧的起始位置的时间差叫做帧移，常见的取法是取为帧长的一半，或者

强化学习的数学模型强化学习本质上是一个马尔可夫决策过程（MVP）。在一个初始状态S下通过一系列动作集合 A下的决策，找到决策过程中的最优解。RL训练的过程就是不断的进行尝试并记录之前的决策过程，在一此决策的过程中较大概率的选择记录表中分数较大的动作，这个就是Q-learning算法，最终训练出来的表就是Q值表。举个栗子走迷宫:任务描述：红块从左上角开始走到黄圈代表天堂即为成功，黑块代表地狱走进去就

学习目标希望从语音识别开始深入，最后可以开发一个个性化语音合成的系统。这样就可以随时随地可以听你想听到的人说话啦。语音识别的总体思路语音基本单位：帧（Frame）HMM模型：初始状态概率（P(w1)）和状态转移概率（P(w2 |w1)、P(w2 |w2)）可以用常规的统计方法从样本中计算出来，主要的难点在于发射概率（P(x1 |w1)、P(x2 |w2)、P(x3 |w2)）的计算，所以声学模型问