logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大模型(LLM)和知识库的基础介绍

大型语言模型基于深度学习技术构建,特别是Transformer架构,这是一种完全基于注意力机制(Attention Mechanism)的模型,它解决了传统RNN(循环神经网络)模型在处理长序列数据时的效率问题,并且能够并行化训练,极大地提高了模型训练的速度。

文章图片
#自然语言处理#语言模型
大语言模型技术专栏(六):大语言模型三大架构解密——从Transformer到GPT/BERT/T5的进化之路

但你是否好奇,为什么同样是基于Transformer,有的模型(如GPT)擅长写小说,有的(如BERT)擅长文本分析,而T5却能做翻译?今天我们就来揭开这个谜底——大语言模型的三大经典架构,用最通俗的比喻+动图演示+代码实战,带你彻底搞懂它们的区别与设计哲学!GPT-3(1750亿参数)证明:超大规模Decoder-only模型具有强大的泛化能力。行业现象:多数百亿级大模型(如PaLM、Claud

文章图片
#语言模型#架构#transformer
大语言模型技术专栏(一):5分钟搞懂N-grams语言模型,小白也能轻松上手!

简单来说,N-grams语言模型就是一个用来预测下一个词可能是什么的工具。比如,当你输入“今天天气真”时,模型会预测下一个词可能是“好”“不错”或“糟糕”。这里的“N”代表一个数字,表示模型每次考虑多少个词。Unigram(1-gram):只考虑当前词,比如“天气”。Bigram(2-gram):考虑当前词和前一个词,比如“今天 天气”。Trigram(3-gram):考虑当前词和前两个词,比如“

文章图片
#语言模型#人工智能#自然语言处理
基于Python与OpenCV的图像处理:数据读取RGB与灰度处理

首先,我们使用cv2.imread()函数读取图像,该函数默认以BGR格式读取图像,但我们可以将其转换为RGB格式以便更符合常规理解。在OpenCV中,可以使用cv2.cvtColor()函数将彩色图像转换为灰度图像,设置转换代码为cv2.COLOR_BGR2GRAY(注意这里是BGR,因为OpenCV默认使用BGR颜色空间)。灰度处理是图像处理中的一个基本步骤,它将彩色图像转换为灰度图像,即图像

文章图片
#python#opencv#图像处理
大语言模型技术专栏(一):5分钟搞懂N-grams语言模型,小白也能轻松上手!

简单来说,N-grams语言模型就是一个用来预测下一个词可能是什么的工具。比如,当你输入“今天天气真”时,模型会预测下一个词可能是“好”“不错”或“糟糕”。这里的“N”代表一个数字,表示模型每次考虑多少个词。Unigram(1-gram):只考虑当前词,比如“天气”。Bigram(2-gram):考虑当前词和前一个词,比如“今天 天气”。Trigram(3-gram):考虑当前词和前两个词,比如“

文章图片
#语言模型#人工智能#自然语言处理
基于本地知识库的大规模语言模型集成架构详解

随着人工智能技术的进步,尤其是自然语言处理(NLP)领域的发展,大型语言模型(LLM)已经成为了解决多种语言任务的核心技术。因此,结合本地文件加载与处理的技术,可以显著提高语言模型的实用性和准确性。为了便于进一步处理和检索,长篇的文本需要被分割成较小的文本块。文本块的大小可以根据应用场景的具体要求进行调整,一般而言,保持在一个合理的长度可以帮助提高处理速度和效率。这一步骤通常涉及文档解析技术和格式

文章图片
#语言模型#人工智能#自然语言处理
大语言模型技术专栏(六):大语言模型三大架构解密——从Transformer到GPT/BERT/T5的进化之路

但你是否好奇,为什么同样是基于Transformer,有的模型(如GPT)擅长写小说,有的(如BERT)擅长文本分析,而T5却能做翻译?今天我们就来揭开这个谜底——大语言模型的三大经典架构,用最通俗的比喻+动图演示+代码实战,带你彻底搞懂它们的区别与设计哲学!GPT-3(1750亿参数)证明:超大规模Decoder-only模型具有强大的泛化能力。行业现象:多数百亿级大模型(如PaLM、Claud

文章图片
#语言模型#架构#transformer
大模型(LLM)和知识库的基础介绍

大型语言模型基于深度学习技术构建,特别是Transformer架构,这是一种完全基于注意力机制(Attention Mechanism)的模型,它解决了传统RNN(循环神经网络)模型在处理长序列数据时的效率问题,并且能够并行化训练,极大地提高了模型训练的速度。

文章图片
#自然语言处理#语言模型
基于大模型的系统搭建—千帆大模型(1)

但是,上述流程为你提供了一个良好的起点,你可以在此基础上进一步扩展功能,例如加入用户界面、持久化数据存储等特性,以满足更广泛的应用需求。随着人工智能技术的进步,越来越多的企业和个人开发者开始利用大型语言模型(LLM)来构建自己的智能应用。聊天式问答是一种更高级的问答形式,它允许用户与模型进行多轮对话,而不仅仅是单次提问和回答。为了实现聊天式问答,你需要保持对话的历史记录,并将其传递给模型,以便它能

文章图片
#自然语言处理#语言模型#python
大语言模型技术专栏(六):大语言模型三大架构解密——从Transformer到GPT/BERT/T5的进化之路

但你是否好奇,为什么同样是基于Transformer,有的模型(如GPT)擅长写小说,有的(如BERT)擅长文本分析,而T5却能做翻译?今天我们就来揭开这个谜底——大语言模型的三大经典架构,用最通俗的比喻+动图演示+代码实战,带你彻底搞懂它们的区别与设计哲学!GPT-3(1750亿参数)证明:超大规模Decoder-only模型具有强大的泛化能力。行业现象:多数百亿级大模型(如PaLM、Claud

文章图片
#语言模型#架构#transformer
    共 13 条
  • 1
  • 2
  • 请选择