登录社区云，与社区用户共同成长
邀请您加入社区
Dataset类是 PyTorch 用于封装数据的基础类，通常通过继承：返回数据集的大小（即样本的数量）。：根据索引idx返回数据集中的某一项数据，通常返回(数据, 标签)。MyDatasetDataLoader是 PyTorch 中用于批量加载数据的工具，能够自动将Dataset中的数据分批，并支持多线程加载，极大提高了训练效率。DataLoaderbatch_size：每个批次加载多少数据。s
文章介绍了深度学习三大模型压缩技术：剪枝（移除冗余连接）、量化（降低参数精度）和知识蒸馏（让小模型学习大模型经验）。这些技术可单独或组合使用，最高实现50倍压缩比，通过减少模型体积和计算复杂度，使庞大的AI模型能在资源受限的设备上高效运行，功能不减却更贴近生活应用。
深度学习之 基本数据处理与计算操作
创建empty、zeros、ones`new_*` : new_onesrand / randn / randperm / randint / randn_likenormaleye创建列表，类似 numpy 中的 arange创建等差数列 linspacelogspace 返回一维张量Tensor -- Numpy属性和方法数据类型转换判断一个对象是否为 Tensor判断一个对象是否为 PyTo
RNN LSTM GRU 代码实战 ---- 简单的文本生成任务import torchif torch.cuda.is_available():# Tell PyTorch to use the GPU.device = torch.device("cuda")print('There are %d GPU(s) available.' % torch.cuda.device_count())p
笔者在矩阵相关的数据处理中对矩阵乘法产生了一些困惑，在以往粗浅的认知中只有两种常用的乘法，但在学习“机器学习”的过程中对一些函数或名词的处理结果产生了疑惑，遂记录一下学习笔记。以下是5种乘法：哈达玛乘积、标准矩阵乘法、外积、张量积、卷积。此外，向量中的乘法也与矩阵乘法有些不同，以下2种：点积、叉积。
摘要: 随着认知智能走进了人们的视野，知识图谱的重要性便日渐凸显。在今年的自然语言处理顶会 ACL 2020 上，自然语言知识图谱领域发生了巨大的革新。ACL 作为 NLP 领域的顶级学术会议，无疑能够很好地呈现该领域的研究风 ...人工智能学习离不开实践的验证，推荐大家可以多在FlyAI-AI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为AI开发者提供数据竞赛并支持GPU离线
第四节：Pytorch数据处理与模型保存本节将讲解数据操作与模型保存其中数据处理包含数据处理与数据导入，数据处理能够帮助导入训练数据集，对数据进行正则化等功能此外模型保存将会帮助我们保存已有的成果这节讲解完毕我们就已经能够训练我们自己的网络，下一节我们将讲解网络结构可视化相关工具来帮助我们检测、表达网络的结构数据处理常用的类Pytorch的torch.util.data模块中包含着一系列常用的数据
今天给大家推荐一本大模型方面的书籍``,本书将介绍大语言模型的基础理论包括语言模型、分布式模型训练以及强化学习，并以Deepspeed-Chat框架为例介绍实现大语言模型和类ChatGPT系统的实践。
文本生成一直是NLP领域内研究特别活跃的一个任务，应用前景特别广泛。BERT类预训练模型基于MLM，融合了双向上下文信息，不是天然匹配文本生成类任务（也有针对BERT模型进行改进的多种方式完善了BERT的这个缺点，如UniLM）。openAI的GPT-2模型天然适合文本生成类任务，因此使用GPT-2模型来完成中文新闻文本生成任务。数据集数据集是THUCnews的，清华大学根据新浪新闻RSS订阅..
前言上次发了一篇用seq2seq with attention做机器翻译的博客，今天我们试试Transformer。这篇文章主要介绍Transformer模型的搭建和训练，数据集仍然是上次的博客中使用的数据集。没看过那篇博客的可以先看看构建它数据集的部分再回来看这篇文章。搭建模型重点分析先看看这张经久不衰的Transformer架构图实现Transformer有几个重点Transformer中的三
语义分割的数据处理与训练过程笔记
【代码】一些数据处理脚本。
简单总结了一下最近学到的数据处理基础知识。
使用 DeepSeek + RAGFlow，你可以在不到一小时内（如果顺利的话）搭建起一个真正“懂你”的个人知识库助手。无需训练大模型，也能高效、低成本地解决幻觉问题。
本章节我们试试LLM如何通过Text2SQL来访问关系数据库里的数据，并最终以柱状图的方式展现出来。
本章节我们将使用dify chatflow工作流来构建这个聊天助手，功能基本不变的情况下，使用新的技术方式实现。
这些部分构成了PyTorch的知识图谱，涵盖了从数据处理、模型构建到训练与推理等深度学习任务的各个方面。包括各种神经网络层（如全连接层、卷积层、循环神经网络等）、模型构建（Sequential、Module等）、常见的损失函数（交叉熵、均方误差等）和优化器（SGD、Adam等）。PyTorch还提供了许多辅助工具和库，用于模型可视化、模型保存和加载、分布式训练等功能。包括创建张量、张量的操作（如加
通过本章节我们可以基于dify快速构建基于本地知识库+Qwen/Qwen3-32B聊天助手，作为学习使用我们使用魔搭社区的免费的Qwen/Qwen3-32B接口调用来实现，让我们快速的了解RAG是如何构建的
Dify 是一个开源的 LLM（大语言模型）应用开发平台。它的核心目标是让开发者（甚至是非技术人员）能够像“搭积木”一样，轻松、可视化的构建、部署和管理基于大型语言模型（如 GPT-4, Llama, Claude 等）的 AI 应用。
今天的内容就先介绍到这里，对本地搭建 RAG 专属知识库与智能助手感兴趣的小伙伴们，不妨亲自体验一下 RAGFlow，赶快开启你的专属知识库与智能应用探索之旅吧！
（如"夕阳下的城堡"对应特定色彩、构图和光影特征），再根据用户输入的新文本描述，从学习到的联合概率分布中采样，逐步生成符合描述的全新图像。生成式人工智能（Generative AI, GAI）是一种通过学习现有数据模式来创建全新内容的AI技术，能够生成文本、图像、音频、视频、代码等多种形式的输出。：通过大规模文本预训练，具备强大泛化能力，支持多种下游任务。：编码器-解码器结构，完全基于注意力机制，
之前用过yolo,进行过简单的训练，检测，整体上没有大的问题。经过P1的学习，掌握了以下内容：1.大致了解了整体学习过程2.进一步了解了pytorch框架，知道了简单的工作原理。3.简单了解了卷积神经网络。
参照肖智清老师的“神经网络与PyTorch实战”import torchimport torch.utils.dataimport torch.nnimport torch.optimimport torchvision.datasetsimport torchvision.transformstrain_dataset = torchvision.datasets.MNIST(root='./d
【代码】使用深度学习模型对视频进行聚类分析-Pytorch、Skleran、Matplotlib。
dataset主要是用于构造数据集（支持索引），dataloader可以拿出一个mini-batch供我们快速使用。
基于YOLOv7算法和Widerperson数据集的高精度实时行人检测系统可用于日常生活中检测与定位行人目标，此系统可完成对输入图片、视频、文件夹以及摄像头方式的目标检测与识别，同时本系统还支持检测结果可视化与导出
安装CUDA cuDNN以及torch-gpu版本
【猫狗数据集】pytorch训练猫狗数据集之创建数据集
2)遇到报错： can't convert np.ndarray of type numpy.object_. The only supported types are: float64, float32, float16, complex64, complex128, int64, int32, int16, int8, uint8, and bool.解决方法：使用.type(torch.fl
手写KNN识别MNIST数据集（PyTorch读入数据）
在anaconda prompt中首先进入文件所在目录，然后执行下代码。
问题背景：ReLU6输出范围[0,6]，对称量化（如[-127,127]）导致高值截断补偿公式：x^int8=round(xfp32×SasymZasym)\hat{x}_{int8} = \text{round}\left(\frac{x_{fp32} \times S_{asym}}{Z_{asym}}\right)x^int8=round(Zasymxfp32×Sasym)其中非对
本节使用预训练好的ResNet-34模型来完成Kaggle竞赛中的犬种识别挑战，这里会用到模型微调的技巧，复用预训练的模型是大型比赛常常会用到的方法。实验内容整理数据集图像增强读取数据定义模型定义训练函数调参在完整数据及上训练模型对测试集分类并提交结果...
1、从kaggle上下载相关数据：地址整个数据集包括3个部分：训练集文件夹、label 的csv文件、测试集文件夹数据下载下来后，读取相关信息看一下import pandas as pddf = pd.read_csv('/Users/manmi/Desktop/dog_breed/labels.csv')print(df.info())print(df.head())训练集一共10221条数据，
为进一步学习《动手学深度学习》读者环境配置进行指导
语言模型理论基础给定文本序列x1,...,xTx_1,...,x_Tx1,...,xT，语言模型的目标是估计联合概率p(x1,...,xT)p(x_1,...,x_T)p(x1,...,xT)它的应用包括做预训练模型（BERT,GPT）生成文本，给定前面几个词，不断使用前面给的词预测下面的词，和前面预测sin函数一样给定多个序列，判断哪个序列更常见使用计数来建模p(x,x′)=p(x)p
fixmatch
lmageSets文件夹下面有个Main子文件夹，其下面存放了 train.txt、val.txt、test.txt 和 trainval.txt 四个文件，它们是通过split_train_val.py 文件来生成的。上面的代码，如果直接在pycharm运行tranin.py，会下载YOLOv5自身的数据集并进行训练，而不是会训练自己提供的数据集，需要对tranin.py进行修改才可以训练自己的
训练前必须先将yolov7.pt存储到yolov7的根目录下，下载链接：https://github.com/WongKinYiu/yolov7/releases/download/v0.1/yolov7.pt。数据下载链接：https://gitcode.net/a486259/data/-/blob/master/shipdata_yolo.zip。这里train就是设置训练集的路径，val是
然后查支持的版本，又报错，不显示，而且torch没有支持python3.13的版本。最新的python3.13在安装torch时出现错误，这是不是python的重大bug呢？
环境使用 Kaggle 里免费建立的 Notebook教程使用李沐老师的 动手学深度学习 网站和 视频讲解小技巧：当遇到函数看不懂的时候可以按查看函数详解。语义分割是将图片中的每个像素分类到对应的类别：还有就是李沐老师上课背景全都是白色的。实例分割不仅需要区分语义，还要区分不同的目标实例。如果图像中有两条狗，则实例分割需要区分像素属于的两条狗中的哪一条。最重要的语义分割数据集之一是 Pascal
使用学习率调度器（如 `torch.optim.lr_scheduler`）来动态调整学习率，提高训练效果。使用 `torch.nn.RNN` 或 `torch.nn.LSTM` 可以简化代码并提高性能。使用 `torch.nn.RNN` 或 `torch.nn.LSTM` 可以简化代码并提高性能。将训练和预测逻辑封装到一个 `nn.Module` 子类中，可以更好地管理模型参数和状态。将训练和预
Pytorch对于数据集的操作使用 DataSet 和 DataLoader。__len__在加载数据时，一般使用Mini-Batch，原因有以下两个：（1）通过使用batch，可以在梯度下降中更新参数时通过随机梯度下降的方法，这可以帮助我们跨越部分鞍点。（鞍点会导致梯度为0）（2）通过将数据划分为batch，可以充分利用计算机并行计算的能力，加快计算的速度。
1.背景介绍文本生成和语言模型是自然语言处理(NLP)领域的一个重要分支，它涉及到自然语言的生成和理解。在这篇博客中，我们将深入探讨PyTorch中的文本生成和语言模型，涵盖了背景介绍、核心概念与联系、核心算法原理和具体操作步骤、数学模型公式详细讲解、具体最佳实践：代码实例和详细解释说明、实际应用场景、工具和资源推荐、总结：未来发展趋势与挑战以及附录：常见问题与解答。1. 背景介绍自然...
torchvision.transforms.functional.pad(img, padding, fill=0, padding_mode='constant')这个函数用于用指定的填充模式和填充值填充PIL图像。参数：img（PIL图像）-- 要填充的图像。padding（int或tuple）-- 各边的填充值。如果指定为int，表示所有边都按照这个值进行填充。如果指定为长为2...
问题描述为加载本地CIFAR文件，我解压后放在了data文件夹下（data文件夹里有其他文件了）然后：按照书中的把download设为False，会报错；把download设为True，会报错解决方案download设为True新建一个文件夹（不妨命名dataset)，把CIFAR10数据集放入其中成果图原因分析可能是因为之前的data文件夹下有其他数据集了...
PyTorch的特点和优势动态计算图、易用性、强大的社区支持、与NumPy兼容。安装和环境配置运行结果1.9.0 # 具体版本可能不同配置虚拟环境（推荐使用venv或conda# 创建虚拟环境# 激活虚拟环境基本数据类型和张量操作# 从列表创建张量print(a)运行结果。
pytorch
——pytorch
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
魔乐社区
北京朝阳AI社区
