logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

神经网络调优 ---学习率lr

Pytorch学习率调整策略通过 torch.optim.lr_sheduler 接口实现。pytorch提供的学习率调整策略分为三大类,分别是:有序调整:等间隔调整(Step),多间隔调整(MultiStep),指数衰减(Exponential),余弦退火(CosineAnnealing);自适应调整:依训练状况伺机而变,通过监测某个指标的变化情况(loss、accuracy),当该指标不怎么变

#pytorch#深度学习#神经网络 +1
深度学习移动端在线训练 --- 基于MNN的端侧Finetune实现

开篇吐槽​在决定使用MNN实现在线训练之前,也比较了TNN/NCNN,但是发现目前各大端侧推理引擎的训练框架都不成熟,半斤八两的状态,可能都把精力放在在线预测和op支持上,但是端侧训练的需求真的少么?fine-tune在端侧应用难道不是刚需?查了下NCNN关于训练框架的文档或教程几乎没有,移植到端侧应用的更是没找到案例,NCNN发布几年至今没有完善的官方文档,目前只有github里的几个关于编译和

#深度学习#python#pytorch +1
深度学习移动端在线训练 --- 基于MNN的端侧Finetune实现

开篇吐槽​在决定使用MNN实现在线训练之前,也比较了TNN/NCNN,但是发现目前各大端侧推理引擎的训练框架都不成熟,半斤八两的状态,可能都把精力放在在线预测和op支持上,但是端侧训练的需求真的少么?fine-tune在端侧应用难道不是刚需?查了下NCNN关于训练框架的文档或教程几乎没有,移植到端侧应用的更是没找到案例,NCNN发布几年至今没有完善的官方文档,目前只有github里的几个关于编译和

#深度学习#python#pytorch +1
深度学习数据增强方法小结

数据至上: 深度学习依赖数据的数量和质量,很大程度影响模型性能的好坏数据增强: 利用现有的数据产生等价于数据扩增的价值,提高模型的泛化能力数据增强技术分为有监督的和无监督的有监督的数据增强图像领域的几何变换(如翻转,旋转,裁剪,变形,缩放等),颜色变换(如随机噪点,模糊,扰动,擦除填充)SMOTE: 基于K近邻随机插值,将小样本合并成新的样本,常用于解决数据不均衡的分类问题算法基本流程:第一步,定

#pytorch#深度学习#神经网络 +1
神经网络调优 --- batch_size

batchsize和收敛速度/性能的关系1. 一般来说,在合理的范围之内,越大的 batch_size 使下降方向越准确,震荡越小;但batch_size越大越容易陷入局部最优。2. 小的 bath_size 引入的随机性更大,单次epoch耗时更久,且震荡大难以收敛,但一般会获得更好的泛化性能。3. 同时,更小的bath_size需要更大的学习率learning_rate调参经验1. 当有足够算

#深度学习#pytorch#神经网络 +1
深度学习移动端在线训练 --- 基于MNN的端侧Finetune实现

开篇吐槽​在决定使用MNN实现在线训练之前,也比较了TNN/NCNN,但是发现目前各大端侧推理引擎的训练框架都不成熟,半斤八两的状态,可能都把精力放在在线预测和op支持上,但是端侧训练的需求真的少么?fine-tune在端侧应用难道不是刚需?查了下NCNN关于训练框架的文档或教程几乎没有,移植到端侧应用的更是没找到案例,NCNN发布几年至今没有完善的官方文档,目前只有github里的几个关于编译和

#深度学习#python#pytorch +1
多任务学习(MTL) --- 知识小结+实现

What通常一个模型训练时有多个目标函数loss同时训练就可以叫多任务学习,预测时输出多个结果的模型就是多任务模型Why工业界实际应用时维护单个模型比同时维护k个模型更方便,成本更低提高泛化性能How思路1:手工加权平均基本思想:对于多任务的loss,最简单的方式是直接将loss函数对于每个任务的loss进行加权- 这种方式手工设置权重,模型性能对权重的选择非常敏感,而且loss的权重作为超参数进

#机器学习#pytorch#深度学习
UE4材质基础总结

目录图形学基础知识材质和材质实例概念动态材质实例概念材质细节面板关键参数PBR基础(Physically based rendering)材质节点基础参数材质图表的计算节点使用贴图制作PBR材质玻璃&水材质制作(初级)角色皮肤、毛发材质制作(初级)材质函数材质UV计算技巧材质常用属性设置&节点后处理材质基础图形学基础知识除了自发光物体,成像皆由视网膜接收物体各尺度平面反射的光线构成

#游戏开发#材质
Qt for iOS环境搭建-MacOS10.10+Qt5.7(全图解)

本文记录本人MacOS虚拟机下搭建Qt for ios开发环境全过程,全图解展示。。。-----------------------------------------------------------------------------------------------------------环境搭建准备:1.虚拟机:VMware Workstation 102.VMware

#ios
VMware下Ubuntu系统扩展硬盘方法(全图解)

1.首先在虚拟机里面关闭Ubuntu系统,如下图所示: 2. 在VMware里点击菜单VM——>Settings...,如下图: 3.然后弹出“Virtual Machine Settings”对话框,如下图: 4.在上图的"Hardware"里面单击底下的Add按钮,如下图: 5.将会弹出“Add Hardware Wizard”对话框,如下图: 6.选中

#linux#ubuntu#虚拟机
    共 15 条
  • 1
  • 2
  • 请选择