论文提出了一个在神经网络中能够做特征提取的结构：LassoNet，其核心思想，是使用一个“Skip层”的结构来控制要进入后面隐层的特征数量，从而实现特征的稀疏化。尽管原理看上去很简单，但是针对其进行反向传播的优化算法（Warm Start和Hier-Prox算法），实际上有着相当的数学最优化原理。这篇论文实际上结合了原本线性模型种的L1正则化与ResNet的思路，可以说有着借鉴价值。

传统的机器学习超参搜索方法是没有先验知识参与的，已经搜索过的参数没有对之后的参数搜索进行指导，而使用贝叶斯优化，则是会将历史搜索的记录用以作为先验知识来帮助判断下一步如何调参。本文基于高斯过程回归简单介绍了贝叶斯优化的原理，并使用代码作了简单复现。

参考了Konstantin的特征处理，使用了XGBoost,lightGBM,CatBoost以及Blending策略对M5数据集中的德克萨斯州家居类产品作了预测。得到了可以接受的一个结果。

本文反思了为什么Transformer模型在时间序列预测的问题上没有传统的线性模型效果好。文章作者认为，Transformer并非不适合于时间序列预测任务，而是以往的研究者没有“正确使用”Transformer。在没有大改Transformer模型的情况下，通过将输入Embedding的进行转置，使得自注意力层与前向层所提取的特征进行了互换，经过试验发现无论是预测效果还是模型可解释性都大大提高了，

简单介绍了TimesNet的模型架构：通过傅里叶变换提取周期，将一维的时间序列转化为n个周期并排的二维序列，以此能够使用二维卷积以及类ResBlock的结构提取特征，在短期、长期预测、分类、异常检测以及缺失值处理这5个任务上都展现出了超越其他模型的效果。

本文使用了竞赛用的销售数据进行了销售额与优惠券政策的因果推断。实际上更多的是因果推断方法论的学习。对于优惠券政策而言，销售额很有可能并非是真正的干预目标，而且店铺是否要发现优惠券，也需要考量除了数据集以外的其他因素。而对于销售额的干预影响，很多公司都会做Uplift Model来衡量，笔者有空也会对此进行学习。

项目地址：https://github.com/thornbsj/DS_PAIR游戏“黑暗之魂”系列中一直以其隐晦的剧情以及其“碎片化叙事”著称。除去一般游戏中采用的环境叙事以及NPC的语言叙事外，还会将部分剧情背景通过物品描述的形式糅合进游戏中。通过“魂式文风”的物品描述来推测背景故事也是玩家们乐此不疲的一件事。本文就希望能够借助于预训练好的语言模型，输入物品描述，让模型输出一个相关的背景故事。