docext 是一个由视觉语言模型（vlm）提供支持的全面的本地文档智能工具包。vlm 使用的是基于 Qwen2.5VL-3B 的模型，应该是在此模型基础上进行的微调。它提供了三个核心功能：1.pdf/image 转 markdown：将文档转换为具有智能内容识别的结构化标记，包括 LaTeX 方程、签名、水印、表和语义标记。2.文档信息提取：从发票、护照和其他文档类型等文档中无 ocr 地提取结

当然，这种使用warmup和decay的learning rate schedule大多是在bert这种预训练的大模型的微调应用中遇见的。如果是做自然语言处理相关任务的，transformers已经封装了好几个带有warmup 和 decay的lr schedule。如果不是做研究的话，这些已经封装的lr schedule直接拿来用即可。当然也可以使用pytorch中的相关模块自定义。

背景有时候我们写完深度学习模型后，想看看代码实现的模型和我们预期是否一致，但是没有一个好的工具。最近发现有一个软件Netron支持对一部分深度学习模型可视化，源码地址。Netron 支持 ONNX、TensorFlow Lite、Caffe、Keras、Darknet、PaddlePaddle、ncnn、MNN、Core ML、RKNN、MXNet、MindSpore Lite、TNN、Barra

背景有时候我们写完深度学习模型后，想看看代码实现的模型和我们预期是否一致，但是没有一个好的工具。最近发现有一个软件Netron支持对一部分深度学习模型可视化，源码地址。Netron 支持 ONNX、TensorFlow Lite、Caffe、Keras、Darknet、PaddlePaddle、ncnn、MNN、Core ML、RKNN、MXNet、MindSpore Lite、TNN、Barra

在这里使用前馈神经网络和反向传播的方式对数据进行分类。这也是神经网络最基础的部分，刚了解相关内人的话，还是比较难的，特别是在公式推导中。在本部分中，构建一个神经网络分类模型，就可以对手写数字进行识别，无需构建多个二分类模型。视频讲解：彻底搞定机器学习算法理论与实战——神经网络入门-NeuralNetworks...

前言前文已经介绍了TextCNN的基本原理，如果还不熟悉的建议看看原理：【深度学习】textCNN论文与原理。为了便于演示文本textCNN在文本分类上的应用，实验选择的数据集是开源的IMDB Dataset(IMDB数据集)，该数据集包含用于自然语言处理或文本分析的5万条影评。这是用于情绪二分类的数据集，包括用于训练的25000条观点鲜明的影评和用于测试的25000条影评。对于词向量，我们使用p

背景通常我们使用bert进行模型fine-tune时，大多是使用Transformer这个包，官方地址：https://huggingface.co/. 如果想使用Bert获取任务对应的动态词向量，那么这时我们就需要了解Bert模型需要的输入与输出了。如果对bert模型不了解的可以看看我之前的文章：【NLP】BERT(BERT: Pre-training of Deep Bidirectional

docext 是一个由视觉语言模型（vlm）提供支持的全面的本地文档智能工具包。vlm 使用的是基于 Qwen2.5VL-3B 的模型，应该是在此模型基础上进行的微调。它提供了三个核心功能：1.pdf/image 转 markdown：将文档转换为具有智能内容识别的结构化标记，包括 LaTeX 方程、签名、水印、表和语义标记。2.文档信息提取：从发票、护照和其他文档类型等文档中无 ocr 地提取结

原创公众号(谢谢支持)：AIAS编程有道背景很多同学想学习深度学习，但是无奈自己的机器老旧，要么显卡老旧，要么不是Nvidia的显卡，有的甚至没有显卡。没有GPU加速，深度学习还怎么玩？乖乖，怎么能够抵挡我成为一名学霸呢。办法总比困难多，来薅一下资本主义羊毛吧，那就是google的Colab notebooks。jupyter notebook想必大家不陌生，如果你不知道的话，还搞啥深度学习！！！

前言文本分类是自然语言处理中一个比较基础与常见的任务。咱也不谈传统的文本分类方法，就看看这个使用CNN是如何进行文本分类了，听说效果还不错。如果CNN不是很了解的话，可以看看我之前的文章：【深度学习】卷积神经网络-CNN简单理论介绍 、【深度学习】卷积神经网络-图片分类案例(pytorch实现)，当然既然是一种深度学习方法进行文本分类，跑不了使用词向量相关内容，所以读者也是需要有一定词向量(也就是