PyCaret是一个开源的、不用写很多代码的Python机器学习库，可以自动化机器学习工作流程，是一个端到端的机器学习和模型管理工具，可以成倍地加快实验周期，提高工作效率。PyCaret本质上是几个机器学习库和框架的封装，比如scikit-learn、XGBoost、LightGBM、CatBoost、spaCy、Optuna、Hyperopt、Ray等等。

【文本分类】利用bert-base-chinese训练自己的模型完成中文文本分类任务（pytorch实现）

最近又接触了一种影像数据格式：nii.gz文件，记录一下python读取方式。

一般的池化方法包括最大池化、平均池化、自适应池化与随机池化，这几天意外看到了多示例学习池化，感觉挺有意思的，记录一下。

Transformer 倾向于过度分配注意力到无关的上下文。在这项工作中，本文引入了 DIFF Transformer，它放大了对相关上下文的注意力，同时消除了噪声。具体来说，差分注意力机制（differential attention mechanism）将注意力分数计算为两个独立的 softmax 注意力图之间的差。减法可以消除噪声，促进稀疏注意力模式的出现。

PyCaret是一个开源的、不用写很多代码的Python机器学习库，可以自动化机器学习工作流程，是一个端到端的机器学习和模型管理工具，可以成倍地加快实验周期，提高工作效率。PyCaret本质上是几个机器学习库和框架的封装，比如scikit-learn、XGBoost、LightGBM、CatBoost、spaCy、Optuna、Hyperopt、Ray等等。

偶然学习KL散度，突然发现python里面KL散度的实现有很多种耶，一时就地懵圈，各处查阅资料，终于理解了，主要从代码实现和公式的角度，整理记录一下神奇的stats.entropy、special.rel_entr、special.kl_div、F.kl_div与nn.KLDivLoss吧。

一、对抗搜索简介  对抗搜索也称为博弈搜索，在一个竞争的环境中，智能体之间通过竞争实现相反的利益，一方最大化这个利益，另外一方最小化这个利益。  最小最大搜索(Minimax Search)是对抗搜索中最为基本的方法，给定一个游戏搜索树，Minimax算法通过每个节点的Minimax值来决定最优策略，当然，MAX希望最大化Minimax值，而MIN则相反。Minimax是一种简单有效的对抗搜索手段

本文提出了第一个去噪扩散模型在 3D 血管图生成中的工作，其是新颖的两阶段生成方法，依次对节点坐标和边进行去噪，在生成多样化、新颖且解剖学上合理的血管图方面性能表现出色。

模型的复杂度分析也是不同模型比较的重要指标，包括模型参数、浮点运算次数（Floating point operations，FLOPs），内存占用和运存占用等，记录一下可以评价模型复杂度的方法。