大模型训练的痛点是模型参数过大，动辄上百亿，如果单靠单个GPU来完成训练基本不可能。所以需要多卡或者分布式训练来完成这项工作。DeepSpeed是由Microsoft提供的分布式训练工具，旨在支持更大规模的模型和提供更多的优化策略和工具。对于更大模型的训练来说，DeepSpeed提供了更多策略，例如：Zero、Offload等。本文简单介绍下如何使用DeepSpeed。

最近一直在搞windows系统，不太熟悉，坑比较多。在使用pytorch时，突然就遇到OSError: [WinError 1455] 页面文件太小，无法完成操作。 Error loading "C:\Anaconda3\lib\site-packages\torch\lib\caffe2_detectron_ops_gpu.dll"的报错。查阅资料，可能时系统的内存不够导致的1、解决方案一： 增

随着TensorRT8.0版本的发布，windows下也正式支持Python版本了，跟紧NVIDIA的步伐，正式总结一份TensorRT-python的使用经验。一、底层库依赖在安装TensorRT前，首先需要安装CUDA、CUDNN等NVIDIA的基本库，如何安装，已经老生常谈了，这里不再过多描述。关于版本的选择，楼主这里：CUDA版本，楼主这里选择的是 cuda11.5 ，具体cuda版本见

文章目录一、配置CMakeLists.txt二、hello cuda!ubuntu下写Cu代码，那首选IDEL当然是CLion了。Clion编译Cuda需要CMakeLists.txt一、配置CMakeLists.txt0、用CLion新建立一个工程 CUDA Executable，或者直接建立一个普通的C++ Executable将主函数main.cpp变成了main.cu。然后配置CMakeL

文章目录一、主机重装NVIDIA驱动后，Docker容器无法加载驱动二、Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?一、主机重装NVIDIA驱动后，Docker容器无法加载驱动docker遇到 Error response from daemon:

tf定义了tf.app.flags，用于支持接受命令行传递参数，相当于接受argv。import tensorflow as tf#第一个是参数名称，第二个参数是默认值，第三个是参数描述tf.app.flags.DEFINE_string('str_name', 'def_v_1',"descrip1")tf.app.flags.DEFINE_integer('int_name', 1

先记录下代码，再慢慢分析input_data.py#coding=utf-8import tensorflow as tfimport numpy as npimport os# file_dir = '/home/hjxu/PycharmProjects/tf_examples/dog_cat/data/train/'# 获取文件路径和标签def get_files(

跑完视频中的代码，发现视频中在猫狗大战中并没有制作tf官方数据文件，tfrecords数据作者在后面有视频讲解tfrecords数据集介绍，废话不多说，直接上代码首先建立一个create_records.py文件，内容如下#!/usr/bin/env python2# -*- coding: utf-8 -*-"""Created on Tue Jul 25 00:12:41

我们都知道tensorflow自带的mnist库，那么这个库里面的文件是以什么形式保存的呢？我们该怎么把mnist里面数据转化成图像呢？首先看mnist数据格式from tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("MNIST_data/", one_hot=Tr

我的是ubuntu14.04系统，matlab2015bubuntu下将cpp转化成mexa64文件，不知为何，文件并没有出现，但是转化之后matlab已经有这个内置函数了，下面直接出方法这篇参考博客讲的是windows下的http://blog.csdn.net/tiandijun/article/details/50549802下面方法是linux下的比如我们的cpp文件是