本文反思了为什么Transformer模型在时间序列预测的问题上没有传统的线性模型效果好。文章作者认为，Transformer并非不适合于时间序列预测任务，而是以往的研究者没有“正确使用”Transformer。在没有大改Transformer模型的情况下，通过将输入Embedding的进行转置，使得自注意力层与前向层所提取的特征进行了互换，经过试验发现无论是预测效果还是模型可解释性都大大提高了，

CLV（Customer Lifetime Value）指的是客户生命周期价值，用以衡量客户在一段时间内对企业有多大的价值。企业对每个用户的流失与否、在未来时间是否会再次购买，还会再购买多少次才会流失等问题感兴趣，本文所推导的BG/NBD模型就是用来解决这样一系列问题的。

简单介绍了TimesNet的模型架构：通过傅里叶变换提取周期，将一维的时间序列转化为n个周期并排的二维序列，以此能够使用二维卷积以及类ResBlock的结构提取特征，在短期、长期预测、分类、异常检测以及缺失值处理这5个任务上都展现出了超越其他模型的效果。

Prophet是Facebook公司开源的一款时间序列预测模型接口，可用R语言或python进行相关时间预测操作，本文将会从它的代码上对其进行模型拟合以及预测的过程进行一个梳理，并使用python中的pymc包进行Stan文件中贝叶斯建模的复现。

参考了Konstantin的特征处理，使用了XGBoost,lightGBM,CatBoost以及Blending策略对M5数据集中的德克萨斯州家居类产品作了预测。得到了可以接受的一个结果。

根据模型的数学原理进行简单的代码自我复现以及使用测试，仅作自我学习用。模型原理此处不作过多赘述，仅罗列自己将要使用到的部分公式。

论文提出了一个在神经网络中能够做特征提取的结构：LassoNet，其核心思想，是使用一个“Skip层”的结构来控制要进入后面隐层的特征数量，从而实现特征的稀疏化。尽管原理看上去很简单，但是针对其进行反向传播的优化算法（Warm Start和Hier-Prox算法），实际上有着相当的数学最优化原理。这篇论文实际上结合了原本线性模型种的L1正则化与ResNet的思路，可以说有着借鉴价值。

原本想要和之前一样写作“代码复现”，然而由于本人一开始对于Autoformer能力理解有限，参考了一定的论文中的源代码，写着写着就发现自己的代码是“加了注释版本”的源代码，故而只能是源代码的浅读，而非复现。

简单介绍了TimesNet的模型架构：通过傅里叶变换提取周期，将一维的时间序列转化为n个周期并排的二维序列，以此能够使用二维卷积以及类ResBlock的结构提取特征，在短期、长期预测、分类、异常检测以及缺失值处理这5个任务上都展现出了超越其他模型的效果。

传统的机器学习超参搜索方法是没有先验知识参与的，已经搜索过的参数没有对之后的参数搜索进行指导，而使用贝叶斯优化，则是会将历史搜索的记录用以作为先验知识来帮助判断下一步如何调参。本文基于高斯过程回归简单介绍了贝叶斯优化的原理，并使用代码作了简单复现。