循环神经网络（RNN）是一种处理序列数据的神经网络，通过隐藏层的循环机制捕捉序列间的依赖关系。它源自霍普菲尔德网络，受认知神经科学和控制理论启发，适用于自然语言处理等任务。RNN通过BPTT算法训练，但存在梯度消失和爆炸问题，限制了其在长序列中的应用。为改进这些问题，LSTM引入门控机制和细胞状态，能选择性记忆和遗忘信息。Bi-LSTM则结合正向和反向LSTM，同时利用过去和未来信息增强模型性能。