logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

论文阅读系列(一)Qwen-Image Technical Report

本系列活动的本质是“以读促研,以分享促深化”:通过精读论文定向提升科研硬实力,通过分享输出实现知识内化与价值传递。最终目标不仅是成为“AI论文的读者”,更希望能成为“AI领域的一名专家”和“技术创新的探索者”。这一过程既是个人科研成长的“练兵场”,也是对实现“从学习者到研究者”的转变具有重要意义。分割线近日,Qwen Team团队重磅推出Qwen系列在图像生成领域的全新力作——Qwen-Image

文章图片
#论文阅读#人工智能#学习
自学大语言模型之Transformer的Tokenizer

Tokenizer与词向量是NLP中两个核心概念:Tokenizer负责将文本切分成模型可处理的tokens(词/子词/字符),词向量则负责语义表示。传统NLP需要手动处理分词、构建词典、数字映射等步骤,预训练模型通过AutoTokenizer一键完成。主流分词算法包括BPE、WordPiece等,HuggingFace的Tokenizer API支持编码(文本→ID)、解码(ID→文本)双向转换

#语言模型#transformer#人工智能
自学大语言模型之Transformer的Pipeline

Hugging Face Transformers库中的Pipeline是一个高级API,封装了NLP任务的完整流程。它支持30多种任务类型,包括文本分类、问答、生成、多模态处理等。Pipeline的工作流程分为四个阶段:初始化(加载模型和分词器)、预处理(文本分词和数值化)、推理(模型预测)和后处理(结果解码和格式化)。关键参数包括任务类型、模型路径、设备选择(CPU/GPU)、序列长度控制等。

#语言模型#transformer#人工智能
自学大语言模型之BERT

BERT 模型是一种双向变换器,使用掩码语言建模目标和对包含多伦多图书语料库和维基百科的大型语料库的下一句预测的组合进行预训练。BERT 旨在通过联合调节所有层中的左右上下文来预训练未标记文本的深度双向表示。

文章图片
#语言模型#bert#深度学习
自学大语言模型之GPT

GPT是由OpenAI于2018年发布的模型。它采用了Transformer的编码器架构,通过自回归语言模型的方式进行预训练。

文章图片
#语言模型#gpt-3#人工智能
自学大语言模型之Transformer的Pipeline

Hugging Face Transformers库中的Pipeline是一个高级API,封装了NLP任务的完整流程。它支持30多种任务类型,包括文本分类、问答、生成、多模态处理等。Pipeline的工作流程分为四个阶段:初始化(加载模型和分词器)、预处理(文本分词和数值化)、推理(模型预测)和后处理(结果解码和格式化)。关键参数包括任务类型、模型路径、设备选择(CPU/GPU)、序列长度控制等。

#语言模型#transformer#人工智能
自学大语言模型的应用程序框架Langchain(初入门)

LangChain 是一个用于开发由语言模型驱动的应用程序的框架。Be data-aware:将语言模型连接到其他数据源Be agentic:允许语言模型与其环境交互使用语言模型是迈出的重要第一步。通常,在应用程序中使用语言模型时,你并不会直接将用户输入发送给语言模型。相反,你可能会将用户输入组合成一个提示,并将该提示发送给语言模型。例如,在前面的例子中,我们传递的文本是硬编码的,要求输入一个制造

文章图片
#语言模型#人工智能
自学大语言模型的应用程序框架Langchain(初入门)

LangChain 是一个用于开发由语言模型驱动的应用程序的框架。Be data-aware:将语言模型连接到其他数据源Be agentic:允许语言模型与其环境交互使用语言模型是迈出的重要第一步。通常,在应用程序中使用语言模型时,你并不会直接将用户输入发送给语言模型。相反,你可能会将用户输入组合成一个提示,并将该提示发送给语言模型。例如,在前面的例子中,我们传递的文本是硬编码的,要求输入一个制造

文章图片
#语言模型#人工智能
自学大语言模型之Transformer的Trainer

Hugging Face Transformers库中的Trainer类是一个高效便捷的PyTorch模型训练工具,它简化了从数据加载到模型训练、评估和预测的全流程。Trainer的核心功能包括自动化训练流程、分布式与混合精度训练支持、灵活配置选项、集成评估与预测,以及与Hugging Face生态的无缝兼容。通过TrainingArguments可自定义训练细节,如学习率、批大小等。Traine

#语言模型#transformer#人工智能 +1
    共 15 条
  • 1
  • 2
  • 请选择