logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

深度学习论文笔记(知识蒸馏)—— FitNets: Hints for Thin Deep Nets

文章目录主要工作知识蒸馏的一些简单介绍主要工作让小模型模仿大模型的输出(soft target),从而让小模型能获得大模型一样的泛化能力,这便是知识蒸馏,又称为模型压缩,本文在Hinton提出knowledge distillation方法(下文简称KD)的基础进行扩展,利用teacher模型特征提取器的中间层输出作为hints,结合KD,对比teacher模型更深但更窄的student模型进..

#深度学习#r语言#人工智能
深度学习(自监督:BYOL)——Bootstrap Your Own Latent A New Approach to Self-Supervised Learning

文章目录前言BYOL简述实验前言该文章为deepmind团队出品,目前挂在arxiv上,并没有查到相应的发表记录。该文章主要解决对比学习中,只存在正例时出现的模型奔溃解问题,即不论输入是什么,模型的输出都是一个常数。即使只有正例,BYOL仍然达到了SOTA水平,如下图:这表明在对比学习中,负例不一定需要存在。个人认为负例可以避免奔溃解,但是对于高性能的自监督模型而言不是必须的,例如BYOL。同时相

深度学习(自监督:MoCo)——Momentum Contrast for Unsupervised Visual Representation Learning

文章目录前言自监督简述MoCo简述前言本篇文章是何凯明老师在CVPR 2020上的文章文章地址:链接代码地址:链接本文前半部分将对自监督任务做一个简短介绍,包括自监督任务中常见的损失函数——InfoNCE、自监督的用途、自监督的评估方式,后半部分将对MoCo做一个介绍,具体的实验结果请自行查阅原论文。如有错误,欢迎指正。自监督简述自监督无需人工标注标签,其让海量数据自身产生伪标签,将伪标签作为监督

docker学习——docker的host网络

文档关于host网络描述不多 如果使用host网络,容器会与主机共享网络栈,举个例子,如果容器在8080端口上发布了web服务,则主机的8080端口将被该web服务占用,host网络只在linux上有效,高于17.06的docker可以让集群服务使用host网络(使用docker container create的--network host参数),此时控制信息仍然在overlay网络中传...

docker学习——tmpfs mounts

前言每天一篇博客,高产似那啥,如有错误,欢迎指出 什么是tmpfs mountsbind mount与volume是持久化数据到磁盘中,在linux上,也可以使用tmpfs mounts,tmpfs mounts是将数据咱存在内存中,当容器停止运行时,对应的tmpfs mounts会消失,存储在内存中的一个好处就是访问速度快,一般情况下,我们不会数据写入到容器的可写层,因为这会增大...

docker学习——bind mounts

前言最近都在看spring源码,好久后才想起docker存储这一块还没有全总结完,总结时,不会过多提及如何配置,着重介绍概念 什么是bind mountsbind mounts允许建立docker容器中的文件与本地文件之间的映射关系,容器中的进程写入这个文件的内容会保存到映射的本地文件中,与volume不同的是,bind mounts不由docker同一管理,volume存放在do...

Docker学习——Dockerfile中的构建命令

目录 前言 Dockerfile的作用Parser directivesescapeENV.dockerignore文件FROMRUNCMDLABELMAINTAINEREXPOSEENVADDCOPYENTRYPOINT VOLUMEUSERWORKDIRARGONBUILDSTOPSIGNAL...

Spring与SpringMVC父子容器的关系与初始化

Spring和SpringMVC的容器具有父子关系,Spring容器为父容器,SpringMVC为子容器,子容器可以引用父容器中的Bean,而父容器不可以引用子容器中的Bean。了解了Spring与SpringMVC父子容器的关系,接下来让我们看看Spring与SpringMVC容器的初始化过程。以下讲解使用的web.xml文件如下:<context-param>...

docker学习——docker的bridge网络

目录bridge网络使用自定义网络   使用IPv6启用从Docker容器到外部世界的转发使用默认桥接网络默认桥接网络的更多细节  bridge网络docker的桥接网络使用虚拟网桥,bridge网络用于同一主机上的docker容器相互通信,连接到同一个网桥的docker容器可以相互通信,当我们启动docke时,会自动创建一个默认bridge网络,除非我们进...

docker安装卡死在boot2docker.iso的下载

方法一:docker安装需要最新的boot2docker.iso,从docker的安装界面复制网址,我安装的日期是20180823,此时的boot2docker.iso地址为boot2docker.iso,这个地址貌似被墙了,需要翻墙下载,将下载好的文件放到对应文件夹下,我的电脑上为C:\Users\lzy\.docker\machine\cache 方法二:经评论区liz1987...

    共 23 条
  • 1
  • 2
  • 3
  • 请选择