logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Label Studio的安装和使用

官方地址:https://labelstud.io/git地址:https://github.com/heartexlabs/label-studio.git1.docker方式1)启动最新的容器版本docker run --rm -p 8080:8080 -v `pwd`/my_project:/label-studio/my_project --name label-studio hearte

【LLM】Qwen学习

【代码】【无标题】

文章图片
激活函数-SwiGLU

fxx∗σxfxx∗σxσx11e−xσx1e−x1​正数区域内,SiLU 函数的输出与 ReLU 函数的输出相同。在负数区域内,SiLU 函数的输出与 sigmoid 函数的输出相同。SiLU 函数在整个定义域内都是可微的,这使得在反向传播过程中的梯度计算更加稳定。SiLU函数不是单调递增的,而是在x≈−1.28时达到全局最小值−0.28,这可以起到一个隐式正则化的作用,抑制过大的权重。

文章图片
#人工智能
torch.pow

torch.pow(input, exponent, *, out=None) → Tensor计算两个张量或者一个张量与一个标量的指数计算结果,返回一个张量。input和exponent都可以是张量或者标量,1)若input和exponent都为张量,则必须维度一致;2)若input和exponent其中一个为标量,一个为张量,标量以广播的形式进行计算例子:>>> a = to

#pytorch
到底了