【炼丹神器】wandb实践之sweep超参扫描工具
训练之奇淫巧技sweep训练自动化搜索超参
参考官方文档:https://docs.wandb.ai/guides/sweeps/define-sweep-configuration
一、四步上手wandb
首先,wandb其实类似tensorboard,mindinsight,都是观察训练时的学习率,训练loss、验证loss等指标以了解训练进程的工具。使用wandb的功能还是要先学会在训练代码中嵌入wandb,这个官网其实跟详细,可以参考:https://docs.wandb.ai/quickstart
总结一下就是:
- 先注册账号,去往以下链接注册:https://wandb.ai/home
- 安装wandb: pip install wandb
- 设置环境变量:export WANDB_API_KEY=注册的时候会给你
- 将wandb嵌入代码中,可以根据quickstart看下如何嵌入代码中记录准确率等训练参数。
二、四步玩转sweep
接下来就可以上手sweep了,sweep工具具备搜索超参的功能,对于预设的参数,搜索的方法,指定训练次数以及评判的指标,一段时间后训练出如此图,可以快速的分析哪些参数的组合效果最佳。
使用sweep有两种方式,一种是嵌入代码的方式,一种是用yaml文件的方式,这边用了yaml文件的方式。
-
代码中把sweep的参数赋值给代码中使用的变量,如args:
这里要注意,参数赋值必须在使用这些参数之前,最好在刚进入函数的地方赋值。 -
创建config.yaml
这里要注意分为几大部分,如果有自己的参数放在command里面,上面sweep官方链接其实讲的算清楚了,这里直接举例。
-
一条命令行启动sweep,并获得sweep id
wandb sweep --project TResnetM config.yaml
- 再一条命令行启动训练
wandb agent --count 5 thomascai/TResnetM/XXXX
然后打开https://wandb.ai/
登入你的账号即可查看。
Enjoy~
∼ O n e p e r s o n g o f a s t e r , a g r o u p o f p e o p l e c a n g o f u r t h e r ∼ \sim_{One\ person\ go\ faster,\ a\ group\ of\ people\ can\ go\ further}\sim ∼One person go faster, a group of people can go further∼
更多推荐
所有评论(0)