在这里插入图片描述

参考官方文档:https://docs.wandb.ai/guides/sweeps/define-sweep-configuration

一、四步上手wandb

首先,wandb其实类似tensorboard,mindinsight,都是观察训练时的学习率,训练loss、验证loss等指标以了解训练进程的工具。使用wandb的功能还是要先学会在训练代码中嵌入wandb,这个官网其实跟详细,可以参考:https://docs.wandb.ai/quickstart

总结一下就是:

  1. 先注册账号,去往以下链接注册:https://wandb.ai/home
  2. 安装wandb: pip install wandb
  3. 设置环境变量:export WANDB_API_KEY=注册的时候会给你
  4. 将wandb嵌入代码中,可以根据quickstart看下如何嵌入代码中记录准确率等训练参数。

在这里插入图片描述

二、四步玩转sweep

接下来就可以上手sweep了,sweep工具具备搜索超参的功能,对于预设的参数,搜索的方法,指定训练次数以及评判的指标,一段时间后训练出如此图,可以快速的分析哪些参数的组合效果最佳。
在这里插入图片描述

使用sweep有两种方式,一种是嵌入代码的方式,一种是用yaml文件的方式,这边用了yaml文件的方式。

  1. 代码中把sweep的参数赋值给代码中使用的变量,如args:
    [图片]
    这里要注意,参数赋值必须在使用这些参数之前,最好在刚进入函数的地方赋值。

  2. 创建config.yaml
    这里要注意分为几大部分,如果有自己的参数放在command里面,上面sweep官方链接其实讲的算清楚了,这里直接举例。
    [图片]

  3. 一条命令行启动sweep,并获得sweep id

wandb sweep --project TResnetM config.yaml

[图片]

  1. 再一条命令行启动训练
wandb agent --count 5 thomascai/TResnetM/XXXX

然后打开https://wandb.ai/登入你的账号即可查看。

Enjoy~

∼ O n e   p e r s o n   g o   f a s t e r ,   a   g r o u p   o f   p e o p l e   c a n   g o   f u r t h e r ∼ \sim_{One\ person\ go\ faster,\ a\ group\ of\ people\ can\ go\ further}\sim One person go faster, a group of people can go further

Logo

分享最新、最前沿的AI大模型技术,吸纳国内前几批AI大模型开发者

更多推荐