logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型训练:LLaMA-Factory快速上手

本文介绍了使用LLaMA-Factory进行大模型微调的完整流程:1)环境配置(推荐CUDA环境+≥24GB显存GPU);2)数据准备(Alpaca格式JSON文件);3)多GPU训练流程(以LoRA微调Qwen-7B为例),包括配置文件设置和训练脚本参数说明。重点展示了如何通过accelerate启动分布式训练,包含显存优化策略(梯度累积、混合精度)和关键超参数配置(学习率调度、Lora参数等)

SGD、Adam 和 AdamW

本文对比了三种常用优化器:SGD、Adam和AdamW。SGD计算简单但收敛慢,适合小模型;Adam结合动量和自适应学习率,收敛快但泛化性较差;AdamW改进Adam的权重衰减机制,提高泛化能力,成为大模型训练首选。使用建议:SGD适合微调,Adam适合快速实验,AdamW适合大模型训练,后期可切换SGD微调。注意避免同时使用weight_decay和L2正则化。

#人工智能
深度学习框架keras使用—(2)非线性回归

code:# -*- coding: utf-8 -*-"""Created on Sat Jan5 09:59:55 2019@author: Administrator"""import kerasimport numpy as npimport matplotlib.pyplot as plt#按顺序构成的模型from keras.

win10 查看安装的cuda版本号

开始菜单->运行->输入cmd(或者Windows+R,然后输入cmd):输入nvcc -V 

深度学习框架keras使用—(0)Anaconda 更新numpy

问题: 如下 ImportError: numpy.core.multiarray failed to import更新numpy:在Anaconda Prompt 输入命令:conda update numpy如下: 更新完毕后,在运行,结果如下:...

机器学习-回归和分类的区别

回归与分类的不同分类和回归的区别在于输出变量的类型。定量输出称为回归,或者说是连续变量预测;定性输出称为分类,或者说是离散变量预测。举个例子:预测明天的气温是多少度,这是一个回归任务;预测明天是阴、晴还是雨,就是一个分类任务。1.回归问题的应用场景(预测的结果是连续的,例如预测明天的温度,23,24,25度)回归问题通常是用来预测一个值,如预测房价、未来的天气情况等等,例...

#机器学习#回归#分类
六种强大的姿态识别估计的深度学习模型和代码

       姿态估计的目标是在RGB图像或视频中描绘出人体的形状,这是一种多方面任务,其中包含了目标检测、姿态估计、分割等等。有些需要在非水平表面进行定位的应用可能也会用到姿态估计,例如图形、增强现实或者人机交互。姿态估计同样包含许多基于3D物体的辨认。英文版:ht...

OpenCV VideoCapture.get()获取帧率错误

原因分析:VideoCapture.get()返回的帧率以及宽高等均为double类型,以int类型接收或者打印出错~~~~~~~~~~~~~备注:VideoCapture.get()参数说明https://docs.opencv.org/4.2.0/d4/d15/group__videoio__flags__base.html#ggaeb8dd9c89c10a5c63c139bf7c...

使用深度学习的三维点云分类的介绍

   在过去的这些年里,对二维图像已经有了大量深入的研究,并且有着长足的发展。它在分类任务上取得了极好的结果主要得益于一下两个关键因素:1.卷积神经网络。2.数据 - 大量图像数据可用。   但是对于3D点云,数据正在迅速增长。大有从2D向3D发展的趋势,比如在opencv中就已经慢慢包含了3D点云的处理的相关模块,在数据方面点云的获取也是有...

    共 35 条
  • 1
  • 2
  • 3
  • 4
  • 请选择