当然，这种使用warmup和decay的learning rate schedule大多是在bert这种预训练的大模型的微调应用中遇见的。如果是做自然语言处理相关任务的，transformers已经封装了好几个带有warmup 和 decay的lr schedule。如果不是做研究的话，这些已经封装的lr schedule直接拿来用即可。当然也可以使用pytorch中的相关模块自定义。

背景有时候我们写完深度学习模型后，想看看代码实现的模型和我们预期是否一致，但是没有一个好的工具。最近发现有一个软件Netron支持对一部分深度学习模型可视化，源码地址。Netron 支持 ONNX、TensorFlow Lite、Caffe、Keras、Darknet、PaddlePaddle、ncnn、MNN、Core ML、RKNN、MXNet、MindSpore Lite、TNN、Barra

背景有时候我们写完深度学习模型后，想看看代码实现的模型和我们预期是否一致，但是没有一个好的工具。最近发现有一个软件Netron支持对一部分深度学习模型可视化，源码地址。Netron 支持 ONNX、TensorFlow Lite、Caffe、Keras、Darknet、PaddlePaddle、ncnn、MNN、Core ML、RKNN、MXNet、MindSpore Lite、TNN、Barra

在这里使用前馈神经网络和反向传播的方式对数据进行分类。这也是神经网络最基础的部分，刚了解相关内人的话，还是比较难的，特别是在公式推导中。在本部分中，构建一个神经网络分类模型，就可以对手写数字进行识别，无需构建多个二分类模型。视频讲解：彻底搞定机器学习算法理论与实战——神经网络入门-NeuralNetworks...

前言前文已经介绍了TextCNN的基本原理，如果还不熟悉的建议看看原理：【深度学习】textCNN论文与原理。为了便于演示文本textCNN在文本分类上的应用，实验选择的数据集是开源的IMDB Dataset(IMDB数据集)，该数据集包含用于自然语言处理或文本分析的5万条影评。这是用于情绪二分类的数据集，包括用于训练的25000条观点鲜明的影评和用于测试的25000条影评。对于词向量，我们使用p

背景通常我们使用bert进行模型fine-tune时，大多是使用Transformer这个包，官方地址：https://huggingface.co/. 如果想使用Bert获取任务对应的动态词向量，那么这时我们就需要了解Bert模型需要的输入与输出了。如果对bert模型不了解的可以看看我之前的文章：【NLP】BERT(BERT: Pre-training of Deep Bidirectional

背景上一篇文章介绍了【Tools】神经网络、深度学习和机器学习模型可视化工具——Netron。写完之后我有琢磨了一下，是否还有其他的可视化工具，例如Tensorboard。网上查阅了一下，果不其然还真有。下面介绍一下。基于Tensorboard的模型可视化还是使用上一篇文档中介绍的内容去可视化。代码如下：mport torch.nn as nnimport torchfrom torch.util

算法原理与程序使用BM25算法原理参见我的博文：【NLP】非监督文本匹配算法——BM25，代码已上传至Github：https://github.com/Htring/BM25，有兴趣的可以查看源码。测试程序：bm25 = BM25()result = bm25.cal_similarity("自然语言处理并不是一般地研究自然语言")for line, score in result:print(

背景通常我们使用bert进行模型fine-tune时，大多是使用Transformer这个包，官方地址：https://huggingface.co/. 如果想使用Bert获取任务对应的动态词向量，那么这时我们就需要了解Bert模型需要的输入与输出了。如果对bert模型不了解的可以看看我之前的文章：【NLP】BERT(BERT: Pre-training of Deep Bidirectional

docext 是一个由视觉语言模型（vlm）提供支持的全面的本地文档智能工具包。vlm 使用的是基于 Qwen2.5VL-3B 的模型，应该是在此模型基础上进行的微调。它提供了三个核心功能：1.pdf/image 转 markdown：将文档转换为具有智能内容识别的结构化标记，包括 LaTeX 方程、签名、水印、表和语义标记。2.文档信息提取：从发票、护照和其他文档类型等文档中无 ocr 地提取结