logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型结构学习

人们为了减少运算量,K,V就不用 h*h了,用 h* h/12这里的12是头数,一般的多头机制,bert为12,所以用12了就,然后就是 L*h/12,然后。最右边的那4*4矩阵是怎么来的, i=0,i=0,i=1,i=1 这就是公式中pos说的不是在句子中的位置实在向量中位置,比如每个字把它分成4个字,那么就是上图。正常情况下,新生成的一个token假如第三个加到原来的后面,再次输出给模型,再次

#学习
预训练模型演化,提示词工程

loss(让学生模仿老师的软标签输出,就是一个好的大模型,可能有多个正确答案)+ MLM loss(让学生直接预测正确的 token)+ 余弦loss(让学生和老师的隐层表示尽量一致)插件可以理解为其他应用或者产品,为AI模型准备的接口(function call),插件成为模型的“眼睛”和“耳朵”,“手”和“脚” 帮助模型获取信息,并完成具体事务。先预训练好权重,然后在下游任务的时候,将预训练好

#深度学习#自然语言处理#人工智能
生成式任务

而当T>1的时候,T不能过大,T在适当大的时候,e的x方,在x小的时候值是相差较小的,那么x除以T之后,softmax就会更大可能出现概率分布差不多的情况,那么模型的选择就多了,在做softmax时是进行 e的x方,当T=1时就是正常的结果,可是当0<T<1的时候,x除以T之后会变大,e的指数函数会随着x的增大会变得更大,原来的差距只会越来越大,用于限制语言模型输出的重复内容,我们根据前四个字预测

#语音识别#人工智能
贝叶斯,支持向量机,深度学习

设事件组{Bi} 是样本空间的一个划分, 且P(Bi) >0(i=1,2,...n)则对任一事件,有P(A) = P(Bi)P(A|Bi) (i=1,2,3,...n)建立 K(K-1)/2 个svm分类器,每个分类器负责k个类别中的两个类别,判断1输入样本属于哪个类别。想要计算文本S属于A1类别的概率P(A1|S) = P(A1|W1,W2,W3..Wn)所谓的核函数即为满足条件:K(x1,x2

#分类#数据挖掘#人工智能
FastAPI框架 路径,查询,请求体参数,JSON,文本,HTML响应类型,异常

response_model是路径操作装饰器的关键参数,它通过一个Pydanticc模型来严格定义和约束API端点的输出格式。description里面填的,会在上面显示,但是小于和大于啊这些的,如果超出范围,发送的请求会返回错误。return {"id":id,"title":f"这是第{id}本书"}# 需求 查询新闻->分页 skip:跳过的记录数,limit:返回的记录数 10。参数的作用

#fastapi
神经网络NLP分词任务,jieba,TF-IDF

3. 对于文档D,计算query中的词在文档D中的TFIDF值总和,作为query和文档的相关性得分。他会先选文本,然后根据切分做出词典,统计词频,就是在跟我们做任务之前,他已经准备好了,词典。2.对于一个待分词的字符串,从前向后寻找最长的,在此表中出现的词,在词边界做切分。3. 如果窗口内的词不是一个词的前缀,则记录已发现的词,并将窗口移动到词边界。3. 如果在词表中,在词边界处进行切分,之后移

#自然语言处理#人工智能
语言模型学习-统计语言模型 神经语言模型

P(今天天气不错) = P(今)*P(天|今)*P(天|今天)*P(气|今天天)*P(不|今天天气)*P(错|今天天气不)P(今天天气不错) = P(今)*P(天|今)*P(天|今天) * P(气|天天) * P(不|天气) * P(错|气不)就比如这个预料 ,P(今天 天气 糟糕) = P(今天)*(天气|今天)*P(糟糕|天气)P(今天 天气 不错) = P(今天)* P(天气|今天)*P(不

#语言模型#人工智能#自然语言处理
P1209 [USACO1.3] 修理牛棚 Barn Repair

int pos[N];int sub[N];int ans;return 0;i <= c;return 0;

#算法#c++#数据结构
FastAPI框架 路径,查询,请求体参数,JSON,文本,HTML响应类型,异常

response_model是路径操作装饰器的关键参数,它通过一个Pydanticc模型来严格定义和约束API端点的输出格式。description里面填的,会在上面显示,但是小于和大于啊这些的,如果超出范围,发送的请求会返回错误。return {"id":id,"title":f"这是第{id}本书"}# 需求 查询新闻->分页 skip:跳过的记录数,limit:返回的记录数 10。参数的作用

#fastapi
RAG开发

在PromptTemplate(通用提示词模板)和FewShotPromptTemplate(FewShot提示词模板)的使用,我们使用了如下:模板对象的format方法,模板对象的invoke方法。prompt_text = few_shot_template.invoke(input={"input_word":"左"}).to_string()",#示例之后的提示词。res=chain.in

#java#前端#服务器
    共 19 条
  • 1
  • 2
  • 请选择