logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【NLP 27、文本分类任务 —— 传统机器学习算法】

类别的定义方式是任意的只要人基于文本能够判断,都可以作为分类类别①垃圾邮件分类、② 对话、文章是否与汽车交易相关、③ 文章风格是否与某作者风格一致、④ 文章是否是机器生成、⑤ 合同文本是否符合规范、⑥ 文章适合阅读人群(未成年、中年、老年、孕妇等)首先定义有几个类别。

文章图片
#分类#数据挖掘#人工智能
【NLP 71、常见大模型的模型结构对比】

三到五年的深耕,足够让你成为一个你想成为的人                              &n

文章图片
#自然语言处理
【NLP 面经 1 Transformer模型Q、K、V参数的作用】

在Transformer架构中,Query向量代表当前正在处理的词(或位置)在句子中的角色或意图。它用于从句子的其他部分查找相关信息,即模型需要“查询”的内容。Key向量代表句子中每个词的重要性或相关性。它与Query进行比较,计算相似度得分,以确定哪些词对当前处理的词(Query)最重要。Value向量包含句子中每个词的实际信息内容。它根据Query和Key的相似度得分进行加权求和,生成当前词的

文章图片
#自然语言处理#人工智能
【NLP 43、文本生成任务】

生成的摘要在原文本中一定出现过。

文章图片
#自然语言处理#人工智能
【NLP 78、手搓Transformer模型结构】

① 初始化 ——> ② 掩蔽自注意力计算 ——> ③ 残差链接与层归一化 ——> ④ 跨注意力计算 ——> ⑤ 残差链接与层归一化 ——> ⑥ 前馈网络计算 ——> ⑦ 残差链接与层归一化。它会对输入(目标序列特征、编码器输出、源序列掩码、目标序列掩码等)进行处理,通过内部的多头注意力机制和前馈网络等组件,对目标序列的特征进行更新和转换。[batch_size, seq_len, d_model]

文章图片
#自然语言处理#transformer#人工智能
【大模型应用开发 3.RAG高级技术与实践】

Qwen-Agent是一个开发框架。充分利用基于通义千问模型(Qwen)的指令遵循、工具使用、规划、记忆能力。Qwen-AgentDashScope服务提供的Qwen模型服务支持通过OpenAI API方式接入开源的Qwen模型服务RagasRagas (Retrieval-Augmented Generation Assessment) 它是一个框架,它可以帮助我们来快速评估RAG系统的性能用户

文章图片
#大数据#人工智能
NLP 45、【Attention is all you need】模型代码实现及应用

继承自nn.Module,是PyTorch中定义神经网络模块的标准方式,该类实现了缩放点积注意力机制继承自nn.Module,是PyTorch中定义神经网络模块的标准方式,该类实现了多头注意力机制继承自 PyTorch 的 nn.Module,用于实现位置前馈神经网络(Positionwise Feed-Forward Network)继承自 PyTorch 的nn.Module类,

文章图片
#自然语言处理#深度学习#人工智能
【NLP 77、Python环境管理工具之conda】

conda是一个开源的包管理系统和环境管理系统,主要用于Python语言,但也可以用于其它语言的项目。

文章图片
#自然语言处理#python#conda
【大模型应用开发 2.RAG技术应用与Faiss向量数据库】

Qwen-Agent是一个开发框架。充分利用基于通义千问模型(Qwen)的指令遵循、工具使用、规划、记忆能力。Qwen-Agent支持的模型形式:DashScope服务提供的Qwen模型服务支持通过OpenAI API方式接入开源的Qwen模型服务。

#人工智能
【NLP 58、利用trl框架训练LLM】

TRL 是一个利用监督微调(SFT)、近端策略优化(PPO)和直接偏好优化(DPO)等先进技术后训练基础模型的尖端库。构建在生态系统之上,TRL 支持多种模型架构和模态,并且可以跨各种硬件配置进行扩展。

文章图片
#自然语言处理#深度学习#人工智能
    共 53 条
  • 1
  • 2
  • 3
  • 6
  • 请选择