logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

LLM:预训练语言模型finetune下游任务

🤗还要安装= 0.1.92scipyprotobufevaluate。

文章图片
#语言模型#人工智能
LLM:finetune预训练语言模型

用的模型AutoModelForCausalLM[examples/pytorch/language-modeling#gpt-2gpt-and-causal-language-modeling][examples/pytorch/language-modeling/run_clm.py]示例:[colab.research.google.com/Causal Language modeling]

文章图片
#语言模型
C++ string类及字符串处理

http://blog.csdn.net/pipisorry/article/details/36869741使用标准C++中string类必须要包含#include using std::string; using std::wstring;或using namespace std;下面你就可以使用string/wstring了,它们两分别对应着char和wchar_t。string和wst

文章图片
PyTorch:模型和数据的save和load

上面“保存加载整个模型”加载的 net.pt 其实一个字典,通常包含如下内容:网络结构:输入尺寸、输出尺寸以及隐藏层信息,以便能够在加载时重建模型。模型的权重参数:包含各网络层训练后的可学习参数,可以在模型实例上调用 state_dict() 方法来获取,比如只保存模型权重参数时用到的 model.state_dict()。优化器参数:有时保存模型的参数需要稍后接着训练,那么就必须保存优化器的状态

文章图片
#pytorch
ssh用法及命令

http://blog.csdn.net/pipisorry/article/details/52269785什么是SSH?简单说,SSH是一种网络协议,用于计算机之间的加密登录。如果一个用户从本地计算机,使用SSH协议登录另一台远程计算机,我们就可以认为,这种登录是安全的,即使被中途截获,密码也不会泄露。最早的时候,互联网通信都是明文通信,一旦被截获,内容就暴露无疑。1995年,芬兰学者...

#linux
Tensorflow:tfrecord数据读取和保存

TFRecord是TensorFlow推荐的二进制数据格式,采用protocolbuffer协议存储,具有高效内存利用和快速读取优势。其核心数据结构tf.train.Example支持三种数据类型:BytesList(字符串/字节)、FloatList(浮点数)和Int64List(整型/布尔值)。适用于大规模数据存储,通过tf.data.Dataset实现高效流水线读取。文中提供了Python读

#tensorflow
LLM:LLaMA模型和微调的Alpaca模型

模型就是用的transformer的decoder,模型设计的不同点在于

文章图片
概率论:假设检验

http://blog.csdn.net/pipisorry/article/details/51182843假设检验假设检验问题分为两类,一类是参数的假设检验,一类是分布的假设检验! 设总体X的分布未知,或 X的某个分布参数 theta未知,对总体分布或分布参数 theta 提出一个假设 "H0" ,然后根据样本所提供的信息,运用统计分析的方法进行判断,从而作出是接受还是拒绝 "H0"

LLM:LLaMA模型和微调的Alpaca模型

模型就是用的transformer的decoder,模型设计的不同点在于

文章图片
GPT的前世今生:从gpt1到chatgpt的能力提升

从2017年google brain提出transformer模型,到2018年基于transformer模型open ai推出了gpt1模型以及google推出了bert模型,到2019-2021年open ai陆续推出gpt2和gpt3,再到2022-2023年推出chat-gpt和gpt4,大语言模型已经发展成了一个具有3个大分支的参天大树[在这里主要写写关于gpt的那些事。

文章图片
#人工智能
    共 196 条
  • 1
  • 2
  • 3
  • 20
  • 请选择