长期以来，隐变量模型存在着长期信息保存和短期输入缺失的问题。解决这一问题的最早方法之一是长短期存储器（long short‐term memory，LSTM）(Hochreiter and Schmidhuber, 1997)。它有许多与门控循环单元一样的属性。有趣的是，长短期记忆网络的设计比门控循环单元稍微复杂一些，却比门控循环单元早诞生了近20年。在初始化函数中，长短期记忆网络的隐状态需要返回

启发式算法是基于直观或经验构造的算法，在可接受的计算时间和空间条件下，给出待解决优化问题的一个可行解。Remember：启发式算法并不保证找到最优解，只是在有限资源下找到还不错的解。经典的启发式算法包括模拟退火遗传算法蚁群算法神经网络等。启发式算法的共同的目标：求NP-hard组合优化问题的全局最优解，NP-hard问题的限制它们只能以启发式的算法去求解实际问题。常见的启发式算法都有其实际背景，但

长期以来，隐变量模型存在着长期信息保存和短期输入缺失的问题。解决这一问题的最早方法之一是长短期存储器（long short‐term memory，LSTM）(Hochreiter and Schmidhuber, 1997)。它有许多与门控循环单元一样的属性。有趣的是，长短期记忆网络的设计比门控循环单元稍微复杂一些，却比门控循环单元早诞生了近20年。在初始化函数中，长短期记忆网络的隐状态需要返回

长期以来，隐变量模型存在着长期信息保存和短期输入缺失的问题。解决这一问题的最早方法之一是长短期存储器（long short‐term memory，LSTM）(Hochreiter and Schmidhuber, 1997)。它有许多与门控循环单元一样的属性。有趣的是，长短期记忆网络的设计比门控循环单元稍微复杂一些，却比门控循环单元早诞生了近20年。在初始化函数中，长短期记忆网络的隐状态需要返回

长期以来，隐变量模型存在着长期信息保存和短期输入缺失的问题。解决这一问题的最早方法之一是长短期存储器（long short‐term memory，LSTM）(Hochreiter and Schmidhuber, 1997)。它有许多与门控循环单元一样的属性。有趣的是，长短期记忆网络的设计比门控循环单元稍微复杂一些，却比门控循环单元早诞生了近20年。在初始化函数中，长短期记忆网络的隐状态需要返回